Исправление бесконечного логирование в Jenkins, добавление логов
parent
f55b303192
commit
eb496a94fb
|
|
@ -4,7 +4,7 @@ pipeline {
|
|||
stages {
|
||||
stage('recreate > build > run container') {
|
||||
steps {
|
||||
sh "docker-compose up --force-recreate --build parse_saby"
|
||||
sh "docker-compose up --force-recreate --build parse_saby && timeout 5m docker compose logs -f || true"
|
||||
}
|
||||
}
|
||||
}
|
||||
|
|
|
|||
|
|
@ -96,7 +96,7 @@ def print_report_data(dict_name:dict, name_title:str):
|
|||
"""
|
||||
Вывод на стандартный поток вывода итоговых данных
|
||||
"""
|
||||
#Блок для красивого офорлмения файла
|
||||
# Функция для красивого офорлмения файла
|
||||
def center_text():
|
||||
"""
|
||||
Функия парсит сколько нужно подчеркивания,
|
||||
|
|
@ -115,7 +115,6 @@ def print_report_data(dict_name:dict, name_title:str):
|
|||
list_result.append('_' * left + text + '_' * right)
|
||||
return list_result[:2]
|
||||
dash_start, dash_end = center_text()
|
||||
#Конец блока
|
||||
|
||||
# Вывод с красивым офрмление в виде нижнего подчеркивания
|
||||
print(f'\n{dash_start}\n')
|
||||
|
|
@ -162,8 +161,10 @@ def process_reports_parse(url_formats = 'https://formats.saby.ru'):
|
|||
url_formats - используется для создание полных URL
|
||||
"""
|
||||
# Лист имеет вид: ['/report/fns', '/report/sfr'...]
|
||||
print(f'{' '*2}Получаем url список всех форматов отчетности в госорганы')
|
||||
set_title = search_title()
|
||||
dict_result = {}
|
||||
print(f"{' '*2}Обработка полученых фрматов")
|
||||
for report_title in set_title:
|
||||
try:
|
||||
# Получаем имя тайтла через парсинг
|
||||
|
|
@ -175,7 +176,9 @@ def process_reports_parse(url_formats = 'https://formats.saby.ru'):
|
|||
# Объект HTML, одного(конкретного) title
|
||||
soup = parse_html(url_title)
|
||||
if isinstance(soup, int):
|
||||
print(f'Не удалось установить соедение c {url_title}')
|
||||
error_message = f"Не удалось установить соедение c {url_title}"
|
||||
print({' '*4}, error_message)
|
||||
error_to_log.write_to_log(error_message)
|
||||
continue
|
||||
# Словарь с нужными данными
|
||||
dict_result_title = parse_reports(soup, report_title, url_formats, name_title)
|
||||
|
|
@ -191,6 +194,7 @@ def process_reports_parse(url_formats = 'https://formats.saby.ru'):
|
|||
|
||||
if __name__ == '__main__':
|
||||
# Можно запустить отдельно от всего проекта
|
||||
print("Запущен parse_saby.py")
|
||||
process_reports_parse()
|
||||
|
||||
|
||||
|
|
|
|||
|
|
@ -103,6 +103,7 @@ class WorkingDB:
|
|||
for dict_argument_bd in list_data:
|
||||
# Просмотр отпавлямых арогументов
|
||||
for key, value in dict_argument_bd.items():
|
||||
print('-'*40)
|
||||
print(f"{' '*4}Отправляемые аргументы - {key}: {value} -> {type(value)}")
|
||||
|
||||
try:
|
||||
|
|
|
|||
Loading…
Reference in New Issue