sadikov
/
parse_saby
1
0
Fork 0
Code Issues Pull Requests Packages Projects Releases 1 Wiki Activity

Исправлено не правильное логирование, убрано логироваие из планировщика

main
Лев 2025-09-03 16:38:44 +05:00
parent 2829524e95
commit c4a90cefc5
3 changed files with 9 additions and 6 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

8
app/main.py
View File

@ -3,6 +3,8 @@ import parse_saby
from validation import DataValid from validation import DataValid
import scheduler import scheduler
print("Зпуск main.py")
def parse_data_in_list(dict_data: dict) -> list: def parse_data_in_list(dict_data: dict) -> list:
""" """
argument: argument:
@ -31,9 +33,13 @@ def validate_data(list_data: list[list]) -> list:
result.append(validated_data.model_dump()) # Добаляем валидный и распаршеный словарь result.append(validated_data.model_dump()) # Добаляем валидный и распаршеный словарь
except: continue except: continue
return result return result
print("1/5. Запуск парсинга сайта")
result_dict_data = parse_saby.process_reports_parse() result_dict_data = parse_saby.process_reports_parse()
print('2/5. Предварительный парсинг')
list_data = parse_data_in_list(result_dict_data) list_data = parse_data_in_list(result_dict_data)
print("3/5. Запуск валидации")
list_data_validated = validate_data(list_data) list_data_validated = validate_data(list_data)
print("4/5 Отправка данных в БД")
working_database.SimpleDB().data_transfer_in_database(list_data_validated) working_database.SimpleDB().data_transfer_in_database(list_data_validated)
print("5/5. Запуск планировщика")
scheduler.launch_the_scheduler() scheduler.launch_the_scheduler()

2
app/parse_saby.py
View File

@ -179,7 +179,7 @@ def process_reports_parse(url_formats = 'https://formats.saby.ru'):
dict_result_title = parse_reports(soup, report_title, url_formats, name_title) dict_result_title = parse_reports(soup, report_title, url_formats, name_title)
dict_result.update(dict_result_title) dict_result.update(dict_result_title)
# Вывод на стандратный поток вывода # Вывод на стандратный поток вывода
print_report_data(dict_result, name_title) print_report_data(dict_result_title, name_title)
except Exception as e: except Exception as e:
print(f"Ошибка при обработке отчета {report_title}: {str(e)}") print(f"Ошибка при обработке отчета {report_title}: {str(e)}")
continue continue

3
app/scheduler.py
View File

@ -11,10 +11,7 @@ def launch_the_scheduler(h=6, m=0):
# Каждый день в 6:00 утра запуск run_parser() # Каждый день в 6:00 утра запуск run_parser()
scheduler.add_job(run_parser, trigger=CronTrigger(hour=h, minute=m)) scheduler.add_job(run_parser, trigger=CronTrigger(hour=h, minute=m))
print("Планировщик запущен. Нажмите Ctrl+C для остановки.")
try: try:
print("Запуск main.py...")
scheduler.start() scheduler.start()
except KeyboardInterrupt: except KeyboardInterrupt:
print("Планировщик остановлен") print("Планировщик остановлен")