Исправлено не правильное логирование, убрано логироваие из планировщика
parent
2829524e95
commit
c4a90cefc5
|
|
@ -3,6 +3,8 @@ import parse_saby
|
|||
from validation import DataValid
|
||||
import scheduler
|
||||
|
||||
print("Зпуск main.py")
|
||||
|
||||
def parse_data_in_list(dict_data: dict) -> list:
|
||||
"""
|
||||
argument:
|
||||
|
|
@ -31,9 +33,13 @@ def validate_data(list_data: list[list]) -> list:
|
|||
result.append(validated_data.model_dump()) # Добаляем валидный и распаршеный словарь
|
||||
except: continue
|
||||
return result
|
||||
|
||||
print("1/5. Запуск парсинга сайта")
|
||||
result_dict_data = parse_saby.process_reports_parse()
|
||||
print('2/5. Предварительный парсинг')
|
||||
list_data = parse_data_in_list(result_dict_data)
|
||||
print("3/5. Запуск валидации")
|
||||
list_data_validated = validate_data(list_data)
|
||||
print("4/5 Отправка данных в БД")
|
||||
working_database.SimpleDB().data_transfer_in_database(list_data_validated)
|
||||
print("5/5. Запуск планировщика")
|
||||
scheduler.launch_the_scheduler()
|
||||
|
|
|
|||
|
|
@ -179,7 +179,7 @@ def process_reports_parse(url_formats = 'https://formats.saby.ru'):
|
|||
dict_result_title = parse_reports(soup, report_title, url_formats, name_title)
|
||||
dict_result.update(dict_result_title)
|
||||
# Вывод на стандратный поток вывода
|
||||
print_report_data(dict_result, name_title)
|
||||
print_report_data(dict_result_title, name_title)
|
||||
except Exception as e:
|
||||
print(f"Ошибка при обработке отчета {report_title}: {str(e)}")
|
||||
continue
|
||||
|
|
|
|||
|
|
@ -11,10 +11,7 @@ def launch_the_scheduler(h=6, m=0):
|
|||
# Каждый день в 6:00 утра запуск run_parser()
|
||||
scheduler.add_job(run_parser, trigger=CronTrigger(hour=h, minute=m))
|
||||
|
||||
print("Планировщик запущен. Нажмите Ctrl+C для остановки.")
|
||||
|
||||
try:
|
||||
print("Запуск main.py...")
|
||||
scheduler.start()
|
||||
except KeyboardInterrupt:
|
||||
print("Планировщик остановлен")
|
||||
|
|
|
|||
Loading…
Reference in New Issue