Compare commits

...

2 Commits

4 changed files with 9 additions and 9 deletions

View File

@ -12,5 +12,7 @@ COPY ./app /code/app
RUN python3 -m pip install --upgrade pip RUN python3 -m pip install --upgrade pip
RUN echo Y | python3 -m pip install --no-cache-dir --upgrade -r /code/requirements.txt RUN echo Y | python3 -m pip install --no-cache-dir --upgrade -r /code/requirements.txt
# Запуск планировщика
RUN python scheduler.py
CMD ["python", "main.py"] CMD ["python", "main.py"]

2
Jenkinsfile vendored
View File

@ -4,7 +4,7 @@ pipeline {
stages { stages {
stage('recreate > build > reun container') { stage('recreate > build > reun container') {
steps { steps {
sh "docker-compose up -d --force-recreate --build parse_saby" sh "docker-compose up --force-recreate --build parse_saby"
} }
} }
} }

View File

@ -63,11 +63,11 @@ _Сервер hvac настрое на работу в тихом режиме,
Данные имеют структуру лист словарей. Выполняется подключение к БД используя пул секретов из шага 4.1. Данные имеют структуру лист словарей. Выполняется подключение к БД используя пул секретов из шага 4.1.
После чего передаются данные в процедуру P_RK_GOVERNMENT_REPORTS_INSERS. После чего передаются данные в процедуру P_RK_GOVERNMENT_REPORTS_INSERS.
## 5. Планировщик заданий. ### Планировщик заданий.
``` ```
scheduler.launch_the_scheduler() scheduler.launch_the_scheduler()
``` ```
Планировщик работает в фоновом режиме, пока не наступит заданое время. Планировщик запускается в Dockerfile, работает в фоновом режиме, пока не наступит заданое время.
Когда наступает заданое время запукает main.py. Время запуска по умолчанию 6 часов 0 минут. Когда наступает заданое время запукает main.py. Время запуска по умолчанию 6 часов 0 минут.
Время можно изменить например на 9:30 следующим образом: Время можно изменить например на 9:30 следующим образом:
``` ```

View File

@ -24,13 +24,11 @@ def parse_data_in_list(dict_data: dict) -> list:
print("Очиcтка лог файла") print("Очиcтка лог файла")
write_error_to_log.clear_to_log() write_error_to_log.clear_to_log()
print("1/5. Запуск парсинга сайта") print("1/4. Запуск парсинга сайта")
result_dict_data = parse_saby.process_reports_parse() result_dict_data = parse_saby.process_reports_parse()
print('2/5. Предварительный парсинг') print('2/4. Предварительный парсинг')
list_data = parse_data_in_list(result_dict_data) list_data = parse_data_in_list(result_dict_data)
print("3/5. Запуск валидации") print("3/4. Запуск валидации")
list_data_validated = DataValid.validate_data(list_data) list_data_validated = DataValid.validate_data(list_data)
print("4/5 Отправка данных в БД") print("4/4 Отправка данных в БД")
working_database.SimpleDB().data_transfer_in_database(list_data_validated) working_database.SimpleDB().data_transfer_in_database(list_data_validated)
print("5/5. Запуск планировщика")
scheduler.launch_the_scheduler()