diff --git a/Jenkinsfile b/Jenkinsfile index 843e15c..424c430 100644 --- a/Jenkinsfile +++ b/Jenkinsfile @@ -4,7 +4,7 @@ pipeline { stages { stage('recreate > build > run container') { steps { - sh "docker-compose up --force-recreate --build parse_saby" + sh "docker-compose up --force-recreate --build parse_saby && timeout 5m docker compose logs -f || true" } } } diff --git a/app/parse_saby.py b/app/parse_saby.py index 83ac2ce..8be590b 100644 --- a/app/parse_saby.py +++ b/app/parse_saby.py @@ -96,7 +96,7 @@ def print_report_data(dict_name:dict, name_title:str): """ Вывод на стандартный поток вывода итоговых данных """ - #Блок для красивого офорлмения файла + # Функция для красивого офорлмения файла def center_text(): """ Функия парсит сколько нужно подчеркивания, @@ -115,9 +115,8 @@ def print_report_data(dict_name:dict, name_title:str): list_result.append('_' * left + text + '_' * right) return list_result[:2] dash_start, dash_end = center_text() - #Конец блока - #Вывод с красивым офрмление в виде нижнего подчеркивания + # Вывод с красивым офрмление в виде нижнего подчеркивания print(f'\n{dash_start}\n') for key, value in dict_name.items(): str_k_v = f'{key}: {value}\n' @@ -162,8 +161,10 @@ def process_reports_parse(url_formats = 'https://formats.saby.ru'): url_formats - используется для создание полных URL """ # Лист имеет вид: ['/report/fns', '/report/sfr'...] + print(f'{' '*2}Получаем url список всех форматов отчетности в госорганы') set_title = search_title() dict_result = {} + print(f"{' '*2}Обработка полученых фрматов") for report_title in set_title: try: # Получаем имя тайтла через парсинг @@ -175,7 +176,9 @@ def process_reports_parse(url_formats = 'https://formats.saby.ru'): # Объект HTML, одного(конкретного) title soup = parse_html(url_title) if isinstance(soup, int): - print(f'Не удалось установить соедение c {url_title}') + error_message = f"Не удалось установить соедение c {url_title}" + print({' '*4}, error_message) + error_to_log.write_to_log(error_message) continue # Словарь с нужными данными dict_result_title = parse_reports(soup, report_title, url_formats, name_title) @@ -191,6 +194,7 @@ def process_reports_parse(url_formats = 'https://formats.saby.ru'): if __name__ == '__main__': # Можно запустить отдельно от всего проекта + print("Запущен parse_saby.py") process_reports_parse() diff --git a/app/working_database.py b/app/working_database.py index 218d7d1..54f38ff 100644 --- a/app/working_database.py +++ b/app/working_database.py @@ -103,6 +103,7 @@ class WorkingDB: for dict_argument_bd in list_data: # Просмотр отпавлямых арогументов for key, value in dict_argument_bd.items(): + print('-'*40) print(f"{' '*4}Отправляемые аргументы - {key}: {value} -> {type(value)}") try: