Compare commits
No commits in common. "efd4b79b782895dda1dd92b73f1e3e1082bfcce3" and "ef02b23111788ce3e8bbedeac4b7758f9a7b7a3b" have entirely different histories.
efd4b79b78
...
ef02b23111
|
|
@ -12,7 +12,5 @@ COPY ./app /code/app
|
||||||
|
|
||||||
RUN python3 -m pip install --upgrade pip
|
RUN python3 -m pip install --upgrade pip
|
||||||
RUN echo Y | python3 -m pip install --no-cache-dir --upgrade -r /code/requirements.txt
|
RUN echo Y | python3 -m pip install --no-cache-dir --upgrade -r /code/requirements.txt
|
||||||
# Запуск планировщика
|
|
||||||
RUN python scheduler.py
|
|
||||||
|
|
||||||
CMD ["python", "main.py"]
|
CMD ["python", "main.py"]
|
||||||
|
|
@ -4,7 +4,7 @@ pipeline {
|
||||||
stages {
|
stages {
|
||||||
stage('recreate > build > reun container') {
|
stage('recreate > build > reun container') {
|
||||||
steps {
|
steps {
|
||||||
sh "docker-compose up --force-recreate --build parse_saby"
|
sh "docker-compose up -d --force-recreate --build parse_saby"
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
|
||||||
|
|
@ -63,11 +63,11 @@ _Сервер hvac настрое на работу в тихом режиме,
|
||||||
Данные имеют структуру лист словарей. Выполняется подключение к БД используя пул секретов из шага 4.1.
|
Данные имеют структуру лист словарей. Выполняется подключение к БД используя пул секретов из шага 4.1.
|
||||||
После чего передаются данные в процедуру P_RK_GOVERNMENT_REPORTS_INSERS.
|
После чего передаются данные в процедуру P_RK_GOVERNMENT_REPORTS_INSERS.
|
||||||
|
|
||||||
### Планировщик заданий.
|
## 5. Планировщик заданий.
|
||||||
```
|
```
|
||||||
scheduler.launch_the_scheduler()
|
scheduler.launch_the_scheduler()
|
||||||
```
|
```
|
||||||
Планировщик запускается в Dockerfile, работает в фоновом режиме, пока не наступит заданое время.
|
Планировщик работает в фоновом режиме, пока не наступит заданое время.
|
||||||
Когда наступает заданое время запукает main.py. Время запуска по умолчанию 6 часов 0 минут.
|
Когда наступает заданое время запукает main.py. Время запуска по умолчанию 6 часов 0 минут.
|
||||||
Время можно изменить например на 9:30 следующим образом:
|
Время можно изменить например на 9:30 следующим образом:
|
||||||
```
|
```
|
||||||
|
|
|
||||||
10
app/main.py
10
app/main.py
|
|
@ -24,11 +24,13 @@ def parse_data_in_list(dict_data: dict) -> list:
|
||||||
print("Очиcтка лог файла")
|
print("Очиcтка лог файла")
|
||||||
write_error_to_log.clear_to_log()
|
write_error_to_log.clear_to_log()
|
||||||
|
|
||||||
print("1/4. Запуск парсинга сайта")
|
print("1/5. Запуск парсинга сайта")
|
||||||
result_dict_data = parse_saby.process_reports_parse()
|
result_dict_data = parse_saby.process_reports_parse()
|
||||||
print('2/4. Предварительный парсинг')
|
print('2/5. Предварительный парсинг')
|
||||||
list_data = parse_data_in_list(result_dict_data)
|
list_data = parse_data_in_list(result_dict_data)
|
||||||
print("3/4. Запуск валидации")
|
print("3/5. Запуск валидации")
|
||||||
list_data_validated = DataValid.validate_data(list_data)
|
list_data_validated = DataValid.validate_data(list_data)
|
||||||
print("4/4 Отправка данных в БД")
|
print("4/5 Отправка данных в БД")
|
||||||
working_database.SimpleDB().data_transfer_in_database(list_data_validated)
|
working_database.SimpleDB().data_transfer_in_database(list_data_validated)
|
||||||
|
print("5/5. Запуск планировщика")
|
||||||
|
scheduler.launch_the_scheduler()
|
||||||
|
|
|
||||||
Loading…
Reference in New Issue