Compare commits
2 Commits
ef02b23111
...
efd4b79b78
| Author | SHA1 | Date |
|---|---|---|
|
|
efd4b79b78 | |
|
|
632c8606fc |
|
|
@ -12,5 +12,7 @@ COPY ./app /code/app
|
||||||
|
|
||||||
RUN python3 -m pip install --upgrade pip
|
RUN python3 -m pip install --upgrade pip
|
||||||
RUN echo Y | python3 -m pip install --no-cache-dir --upgrade -r /code/requirements.txt
|
RUN echo Y | python3 -m pip install --no-cache-dir --upgrade -r /code/requirements.txt
|
||||||
|
# Запуск планировщика
|
||||||
|
RUN python scheduler.py
|
||||||
|
|
||||||
CMD ["python", "main.py"]
|
CMD ["python", "main.py"]
|
||||||
|
|
@ -4,7 +4,7 @@ pipeline {
|
||||||
stages {
|
stages {
|
||||||
stage('recreate > build > reun container') {
|
stage('recreate > build > reun container') {
|
||||||
steps {
|
steps {
|
||||||
sh "docker-compose up -d --force-recreate --build parse_saby"
|
sh "docker-compose up --force-recreate --build parse_saby"
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
|
||||||
|
|
@ -63,11 +63,11 @@ _Сервер hvac настрое на работу в тихом режиме,
|
||||||
Данные имеют структуру лист словарей. Выполняется подключение к БД используя пул секретов из шага 4.1.
|
Данные имеют структуру лист словарей. Выполняется подключение к БД используя пул секретов из шага 4.1.
|
||||||
После чего передаются данные в процедуру P_RK_GOVERNMENT_REPORTS_INSERS.
|
После чего передаются данные в процедуру P_RK_GOVERNMENT_REPORTS_INSERS.
|
||||||
|
|
||||||
## 5. Планировщик заданий.
|
### Планировщик заданий.
|
||||||
```
|
```
|
||||||
scheduler.launch_the_scheduler()
|
scheduler.launch_the_scheduler()
|
||||||
```
|
```
|
||||||
Планировщик работает в фоновом режиме, пока не наступит заданое время.
|
Планировщик запускается в Dockerfile, работает в фоновом режиме, пока не наступит заданое время.
|
||||||
Когда наступает заданое время запукает main.py. Время запуска по умолчанию 6 часов 0 минут.
|
Когда наступает заданое время запукает main.py. Время запуска по умолчанию 6 часов 0 минут.
|
||||||
Время можно изменить например на 9:30 следующим образом:
|
Время можно изменить например на 9:30 следующим образом:
|
||||||
```
|
```
|
||||||
|
|
|
||||||
10
app/main.py
10
app/main.py
|
|
@ -24,13 +24,11 @@ def parse_data_in_list(dict_data: dict) -> list:
|
||||||
print("Очиcтка лог файла")
|
print("Очиcтка лог файла")
|
||||||
write_error_to_log.clear_to_log()
|
write_error_to_log.clear_to_log()
|
||||||
|
|
||||||
print("1/5. Запуск парсинга сайта")
|
print("1/4. Запуск парсинга сайта")
|
||||||
result_dict_data = parse_saby.process_reports_parse()
|
result_dict_data = parse_saby.process_reports_parse()
|
||||||
print('2/5. Предварительный парсинг')
|
print('2/4. Предварительный парсинг')
|
||||||
list_data = parse_data_in_list(result_dict_data)
|
list_data = parse_data_in_list(result_dict_data)
|
||||||
print("3/5. Запуск валидации")
|
print("3/4. Запуск валидации")
|
||||||
list_data_validated = DataValid.validate_data(list_data)
|
list_data_validated = DataValid.validate_data(list_data)
|
||||||
print("4/5 Отправка данных в БД")
|
print("4/4 Отправка данных в БД")
|
||||||
working_database.SimpleDB().data_transfer_in_database(list_data_validated)
|
working_database.SimpleDB().data_transfer_in_database(list_data_validated)
|
||||||
print("5/5. Запуск планировщика")
|
|
||||||
scheduler.launch_the_scheduler()
|
|
||||||
|
|
|
||||||
Loading…
Reference in New Issue