sadikov
/
parse_saby
1
0
Fork 0
Code Issues Pull Requests Packages Projects Releases 1 Wiki Activity

Исправление бесконечного логирование в Jenkins, добавление логов

FixScheduler
Лев 2025-12-05 17:05:56 +05:00
parent f55b303192
commit eb496a94fb
3 changed files with 10 additions and 5 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

2
Jenkinsfile vendored
View File

@ -4,7 +4,7 @@ pipeline {
stages { stages {
stage('recreate > build > run container') { stage('recreate > build > run container') {
steps { steps {
sh "docker-compose up --force-recreate --build parse_saby" sh "docker-compose up --force-recreate --build parse_saby && timeout 5m docker compose logs -f || true"
} }
} }
} }

12
app/parse_saby.py
View File

@ -96,7 +96,7 @@ def print_report_data(dict_name:dict, name_title:str):
""" """
Вывод на стандартный поток вывода итоговых данных Вывод на стандартный поток вывода итоговых данных
""" """
#Блок для красивого офорлмения файла # Функция для красивого офорлмения файла
def center_text(): def center_text():
""" """
Функия парсит сколько нужно подчеркивания, Функия парсит сколько нужно подчеркивания,
@ -115,9 +115,8 @@ def print_report_data(dict_name:dict, name_title:str):
list_result.append('_' * left + text + '_' * right) list_result.append('_' * left + text + '_' * right)
return list_result[:2] return list_result[:2]
dash_start, dash_end = center_text() dash_start, dash_end = center_text()
#Конец блока
#Вывод с красивым офрмление в виде нижнего подчеркивания # Вывод с красивым офрмление в виде нижнего подчеркивания
print(f'\n{dash_start}\n') print(f'\n{dash_start}\n')
for key, value in dict_name.items(): for key, value in dict_name.items():
str_k_v = f'{key}: {value}\n' str_k_v = f'{key}: {value}\n'
@ -162,8 +161,10 @@ def process_reports_parse(url_formats = 'https://formats.saby.ru'):
url_formats - используется для создание полных URL url_formats - используется для создание полных URL
""" """
# Лист имеет вид: ['/report/fns', '/report/sfr'...] # Лист имеет вид: ['/report/fns', '/report/sfr'...]
print(f'{' '*2}Получаем url список всех форматов отчетности в госорганы')
set_title = search_title() set_title = search_title()
dict_result = {} dict_result = {}
print(f"{' '*2}Обработка полученых фрматов")
for report_title in set_title: for report_title in set_title:
try: try:
# Получаем имя тайтла через парсинг # Получаем имя тайтла через парсинг
@ -175,7 +176,9 @@ def process_reports_parse(url_formats = 'https://formats.saby.ru'):
# Объект HTML, одного(конкретного) title # Объект HTML, одного(конкретного) title
soup = parse_html(url_title) soup = parse_html(url_title)
if isinstance(soup, int): if isinstance(soup, int):
print(f'Не удалось установить соедение c {url_title}') error_message = f"Не удалось установить соедение c {url_title}"
print({' '*4}, error_message)
error_to_log.write_to_log(error_message)
continue continue
# Словарь с нужными данными # Словарь с нужными данными
dict_result_title = parse_reports(soup, report_title, url_formats, name_title) dict_result_title = parse_reports(soup, report_title, url_formats, name_title)
@ -191,6 +194,7 @@ def process_reports_parse(url_formats = 'https://formats.saby.ru'):
if __name__ == '__main__': if __name__ == '__main__':
# Можно запустить отдельно от всего проекта # Можно запустить отдельно от всего проекта
print("Запущен parse_saby.py")
process_reports_parse() process_reports_parse()

1
app/working_database.py
View File

@ -103,6 +103,7 @@ class WorkingDB:
for dict_argument_bd in list_data: for dict_argument_bd in list_data:
# Просмотр отпавлямых арогументов # Просмотр отпавлямых арогументов
for key, value in dict_argument_bd.items(): for key, value in dict_argument_bd.items():
print('-'*40)
print(f"{' '*4}Отправляемые аргументы - {key}: {value} -> {type(value)}") print(f"{' '*4}Отправляемые аргументы - {key}: {value} -> {type(value)}")
try: try: