Исправление бесконечного логирование в Jenkins, добавление логов

FixScheduler
Лев 2025-12-05 17:05:56 +05:00
parent f55b303192
commit eb496a94fb
3 changed files with 10 additions and 5 deletions

2
Jenkinsfile vendored
View File

@ -4,7 +4,7 @@ pipeline {
stages {
stage('recreate > build > run container') {
steps {
sh "docker-compose up --force-recreate --build parse_saby"
sh "docker-compose up --force-recreate --build parse_saby && timeout 5m docker compose logs -f || true"
}
}
}

View File

@ -96,7 +96,7 @@ def print_report_data(dict_name:dict, name_title:str):
"""
Вывод на стандартный поток вывода итоговых данных
"""
#Блок для красивого офорлмения файла
# Функция для красивого офорлмения файла
def center_text():
"""
Функия парсит сколько нужно подчеркивания,
@ -115,9 +115,8 @@ def print_report_data(dict_name:dict, name_title:str):
list_result.append('_' * left + text + '_' * right)
return list_result[:2]
dash_start, dash_end = center_text()
#Конец блока
#Вывод с красивым офрмление в виде нижнего подчеркивания
# Вывод с красивым офрмление в виде нижнего подчеркивания
print(f'\n{dash_start}\n')
for key, value in dict_name.items():
str_k_v = f'{key}: {value}\n'
@ -162,8 +161,10 @@ def process_reports_parse(url_formats = 'https://formats.saby.ru'):
url_formats - используется для создание полных URL
"""
# Лист имеет вид: ['/report/fns', '/report/sfr'...]
print(f'{' '*2}Получаем url список всех форматов отчетности в госорганы')
set_title = search_title()
dict_result = {}
print(f"{' '*2}Обработка полученых фрматов")
for report_title in set_title:
try:
# Получаем имя тайтла через парсинг
@ -175,7 +176,9 @@ def process_reports_parse(url_formats = 'https://formats.saby.ru'):
# Объект HTML, одного(конкретного) title
soup = parse_html(url_title)
if isinstance(soup, int):
print(f'Не удалось установить соедение c {url_title}')
error_message = f"Не удалось установить соедение c {url_title}"
print({' '*4}, error_message)
error_to_log.write_to_log(error_message)
continue
# Словарь с нужными данными
dict_result_title = parse_reports(soup, report_title, url_formats, name_title)
@ -191,6 +194,7 @@ def process_reports_parse(url_formats = 'https://formats.saby.ru'):
if __name__ == '__main__':
# Можно запустить отдельно от всего проекта
print("Запущен parse_saby.py")
process_reports_parse()

View File

@ -103,6 +103,7 @@ class WorkingDB:
for dict_argument_bd in list_data:
# Просмотр отпавлямых арогументов
for key, value in dict_argument_bd.items():
print('-'*40)
print(f"{' '*4}Отправляемые аргументы - {key}: {value} -> {type(value)}")
try: