diff --git a/app/main.py b/app/main.py index 733ae88..2bb486b 100644 --- a/app/main.py +++ b/app/main.py @@ -3,6 +3,8 @@ import parse_saby from validation import DataValid import scheduler +print("Зпуск main.py") + def parse_data_in_list(dict_data: dict) -> list: """ argument: @@ -31,9 +33,13 @@ def validate_data(list_data: list[list]) -> list: result.append(validated_data.model_dump()) # Добаляем валидный и распаршеный словарь except: continue return result - +print("1/5. Запуск парсинга сайта") result_dict_data = parse_saby.process_reports_parse() +print('2/5. Предварительный парсинг') list_data = parse_data_in_list(result_dict_data) -list_data_validated = validate_data(list_data) +print("3/5. Запуск валидации") +list_data_validated = validate_data(list_data) +print("4/5 Отправка данных в БД") working_database.SimpleDB().data_transfer_in_database(list_data_validated) +print("5/5. Запуск планировщика") scheduler.launch_the_scheduler() diff --git a/app/parse_saby.py b/app/parse_saby.py index 7823261..a15b647 100644 --- a/app/parse_saby.py +++ b/app/parse_saby.py @@ -179,7 +179,7 @@ def process_reports_parse(url_formats = 'https://formats.saby.ru'): dict_result_title = parse_reports(soup, report_title, url_formats, name_title) dict_result.update(dict_result_title) # Вывод на стандратный поток вывода - print_report_data(dict_result, name_title) + print_report_data(dict_result_title, name_title) except Exception as e: print(f"Ошибка при обработке отчета {report_title}: {str(e)}") continue diff --git a/app/scheduler.py b/app/scheduler.py index 446675b..43ad020 100644 --- a/app/scheduler.py +++ b/app/scheduler.py @@ -11,10 +11,7 @@ def launch_the_scheduler(h=6, m=0): # Каждый день в 6:00 утра запуск run_parser() scheduler.add_job(run_parser, trigger=CronTrigger(hour=h, minute=m)) - print("Планировщик запущен. Нажмите Ctrl+C для остановки.") - try: - print("Запуск main.py...") scheduler.start() except KeyboardInterrupt: print("Планировщик остановлен")