Заготовка
Лев
commit
1845cde8d2
|
|
@ -0,0 +1,117 @@
|
|||
import requests
|
||||
from bs4 import BeautifulSoup
|
||||
from pprint import pprint
|
||||
import os
|
||||
|
||||
URL_FNS = "https://formats.saby.ru/report/fns"
|
||||
URL_FORMATS = 'https://formats.saby.ru'
|
||||
response = requests.get(URL_FNS)
|
||||
filename_report_fns = 'report fns.txt'
|
||||
if 200 <= response.status_code <= 299:
|
||||
pass
|
||||
else:
|
||||
print("Ошибка при запросе:", response.status_code)
|
||||
|
||||
# Парсинг HTML
|
||||
soup = BeautifulSoup(response.text, 'html.parser')
|
||||
# Содрежит url всех записей
|
||||
list_report_fns = []
|
||||
# Содержит URL и имя всех записей
|
||||
list_for_user = []
|
||||
# Цикл в котором добавляем в лист url ввида:
|
||||
# https://formats.saby.ru/report/fns/116682
|
||||
for link in soup.find_all('a'):
|
||||
href = link.get('href')
|
||||
pprint(href)
|
||||
if '/report/fns/' in href:
|
||||
list_report_fns.append(f'{URL_FORMATS}{href}')
|
||||
link = soup.find('a', href=href)
|
||||
span = link.find('span', class_="ProxySbisRu__registry-BrowserItem_typeName")
|
||||
list_for_user.append(f'{URL_FORMATS}{href} {span.text}')
|
||||
|
||||
def write_report_fns(filename, dict_name = dict):
|
||||
"""
|
||||
Сохраняем запись:
|
||||
https://formats.saby.ru/report/fns/106013 Действующий формат (с 26.02.24) 5.04
|
||||
"""
|
||||
with open(filename, 'w', encoding='utf-8') as f:
|
||||
for key, value in dict_name.items():
|
||||
str_k_v = f'{key}: {value}\n'
|
||||
f.write(str_k_v)
|
||||
|
||||
def date_report_fns(list_fns = list):
|
||||
"""
|
||||
Функия ожидает list из URL
|
||||
Заходит на каждый URL, запоминает дату.
|
||||
Возвращает словарь ввида:
|
||||
{'https://formats.saby.ru//report/fns/99219': 'Действующий формат (с 01.01.16) 5.05', ...}
|
||||
"""
|
||||
# Итоговый словарь
|
||||
dict_result = {}
|
||||
# Перебераем URL из аргумента функции
|
||||
for url_fns in list_fns:
|
||||
# Запрос страницы:
|
||||
response_fns = requests.get(url_fns)
|
||||
print(response_fns.status_code)
|
||||
# Парсинг в HTML
|
||||
soup_fns = BeautifulSoup(response_fns.text, 'html.parser')
|
||||
# Поиск в HTML строки ввида: Действующий формат (с 10.01.23) 5.01
|
||||
div_element = soup_fns.find('div', class_='controls-Dropdown__text')
|
||||
# Извлекаем текст из элемента
|
||||
text = div_element.get_text()
|
||||
# Создаем словарь из URL и строки содрежащий актуальность записи
|
||||
dict_appen = {url_fns: text}
|
||||
# Добавляем в итоговый словарь
|
||||
dict_result.update(dict_appen)
|
||||
return dict_result
|
||||
|
||||
def actual_report_fns(dict_open, dict_new):
|
||||
"""
|
||||
Функция принимает два словаря:
|
||||
- dict_open из файла.
|
||||
- dict_new из HTML
|
||||
Ищет изменения в словарях
|
||||
Возвращает один актуальный словарь.
|
||||
"""
|
||||
dict_result = {}
|
||||
# Ключи, которые есть в dict_open, но нет в dict_new
|
||||
missing_in_new_dict_fns = {k: dict_open[k] for k in dict_open if k not in dict_new}
|
||||
# Ключи, которые есть в new_dict_fns, но нет в dict_open
|
||||
missing_in_dict_open_report_fns = {k: dict_new[k] for k in dict_new if k not in dict_open}
|
||||
# Ключи с разными значениями
|
||||
# value_diff = {k: (dict_open[k], dict_new[k]) for k in dict_open if k in dict_new and dict_open[k] != dict_new[k]}
|
||||
value_diff = {k: dict_open[k] for k in dict_open if k in dict_new and dict_open[k] != dict_new[k]}
|
||||
print('Запись не существует', missing_in_dict_open_report_fns)
|
||||
print('Новые записи: ', missing_in_new_dict_fns)
|
||||
print('Изменение записи', value_diff)
|
||||
#Словарь с записями котоыре нужно удалить
|
||||
dict_del = {}
|
||||
dict_del.update(missing_in_dict_open_report_fns)
|
||||
dict_del.update(value_diff)
|
||||
# Удаляем из словря(который записан в файле) данные, записи которых больше не существует:
|
||||
dict_result = {k: v for k, v in dict_open.items() if k not in dict_del}
|
||||
# Добаляем новые записи
|
||||
dict_result.update(missing_in_new_dict_fns)
|
||||
dict_result.update(value_diff)
|
||||
write_report_fns(filename_report_fns, dict_result)
|
||||
|
||||
|
||||
|
||||
new_dict_fns = date_report_fns(list_report_fns)
|
||||
|
||||
# Проверка есть ли файл
|
||||
if os.path.exists(filename_report_fns):
|
||||
dict_open_report_fns = {}
|
||||
with open(filename_report_fns, 'r', encoding='utf-8') as f:
|
||||
for line in f:
|
||||
line = line.strip().split(': ')
|
||||
dict_line = {line[0]:line[1]}
|
||||
dict_open_report_fns.update(dict_line)
|
||||
if dict_open_report_fns == new_dict_fns:
|
||||
print('равны')
|
||||
else:
|
||||
print('не равны')
|
||||
actual_report_fns(dict_open_report_fns, new_dict_fns)
|
||||
else:
|
||||
write_report_fns(filename_report_fns, new_dict_fns)
|
||||
|
||||
|
|
@ -0,0 +1,50 @@
|
|||
https://formats.saby.ru/report/fns/128513: Действующий формат (с 01.07.22) 5.03
|
||||
https://formats.saby.ru/report/fns/130840: Действующий формат (с 01.01.23) 5.01
|
||||
https://formats.saby.ru/report/fns/120166: Действующий формат (с 01.01.25) 5.07
|
||||
https://formats.saby.ru/report/fns/120180: Действующий формат (с 01.01.24) 5.05
|
||||
https://formats.saby.ru/report/fns/120092: Действующий формат (с 01.01.25) 5.11
|
||||
https://formats.saby.ru/report/fns/50271: Действующий формат (с 09.01.23) 5.04
|
||||
https://formats.saby.ru/report/fns/120117: Действующий формат (с 01.01.25) 5.12
|
||||
https://formats.saby.ru/report/fns/141442: Действующий формат (с 01.01.25) 5.02
|
||||
https://formats.saby.ru/report/fns/121867: Действующий формат (с 01.01.25) 5.08
|
||||
https://formats.saby.ru/report/fns/118785: Действующий формат (с 01.01.19) 5.03
|
||||
https://formats.saby.ru/report/fns/120344: Действующий формат (с 15.12.20) 5.09
|
||||
https://formats.saby.ru/report/fns/121160: Действующий формат (с 12.07.21) 5.02
|
||||
https://formats.saby.ru/report/fns/118611: Действующий формат (с 01.01.19) 5.08
|
||||
https://formats.saby.ru/report/fns/99720: Действующий формат (с 13.12.22) 5.03
|
||||
https://formats.saby.ru/report/fns/119230: Действующий формат (с 01.01.15) 5.08
|
||||
https://formats.saby.ru/report/fns/121163: Действующий формат (с 01.01.25) 5.12
|
||||
https://formats.saby.ru/report/fns/126058: Действующий формат (с 19.12.24) 5.03
|
||||
https://formats.saby.ru/report/fns/116682: Действующий формат (с 10.01.23) 5.04
|
||||
https://formats.saby.ru/report/fns/117433: Действующий формат (с 01.01.18) 5.05
|
||||
https://formats.saby.ru/report/fns/120421: Действующий формат (с 01.01.25) 5.19
|
||||
https://formats.saby.ru/report/fns/99219: Действующий формат (с 01.01.16) 5.05
|
||||
https://formats.saby.ru/report/fns/120181: Действующий формат (с 02.01.00) 5.02
|
||||
https://formats.saby.ru/report/fns/99213: Действующий формат (с 01.01.16) 5.04
|
||||
https://formats.saby.ru/report/fns/119699: Действующий формат (с 01.01.24) 5.03
|
||||
https://formats.saby.ru/report/fns/122284: Действующий формат (с 16.01.18) 5.02
|
||||
https://formats.saby.ru/report/fns/106538: Действующий формат (с 01.08.23) 5.04
|
||||
https://formats.saby.ru/report/fns/76642: Действующий формат (с 01.01.16) 5.01
|
||||
https://formats.saby.ru/report/fns/133796: Действующий формат (с 19.08.19) 5.02
|
||||
https://formats.saby.ru/report/fns/32042: Действующий формат (с 01.10.13) 4.02
|
||||
https://formats.saby.ru/report/fns/120165: Действующий формат (с 18.02.24) 5.03
|
||||
https://formats.saby.ru/report/fns/77900: Действующий формат (с 13.11.15) 5.01
|
||||
https://formats.saby.ru/report/fns/118112: Действующий формат (с 10.01.23) 5.02
|
||||
https://formats.saby.ru/report/fns/120627: Действующий формат (с 16.12.23) 5.05
|
||||
https://formats.saby.ru/report/fns/121754: Действующий формат (с 01.01.21) 5.05
|
||||
https://formats.saby.ru/report/fns/121952: Действующий формат (с 01.01.25) 5.10
|
||||
https://formats.saby.ru/report/fns/120348: Действующий формат (с 02.11.12) 5.02
|
||||
https://formats.saby.ru/report/fns/126016: Действующий формат (с 01.01.25) 5.02
|
||||
https://formats.saby.ru/report/fns/117431: Действующий формат (с 01.01.18) 5.06
|
||||
https://formats.saby.ru/report/fns/71563: Действующий формат (с 01.01.15) 5.01
|
||||
https://formats.saby.ru/report/fns/117432: Действующий формат (с 01.01.18) 5.06
|
||||
https://formats.saby.ru/report/fns/120287: Действующий формат (с 02.12.20) 5.02
|
||||
https://formats.saby.ru/report/fns/120172: Действующий формат (с 18.02.24) 5.03
|
||||
https://formats.saby.ru/report/fns/131129: Действующий формат (с 10.01.23) 5.01
|
||||
https://formats.saby.ru/report/fns/120619: Действующий формат (с 31.08.11) 5.02
|
||||
https://formats.saby.ru/report/fns/120968: Действующий формат (с 01.01.13) 5.02
|
||||
https://formats.saby.ru/report/fns/117430: Действующий формат (с 01.01.18) 5.05
|
||||
https://formats.saby.ru/report/fns/106013: Действующий формат (с 26.02.24) 5.04
|
||||
https://formats.saby.ru/report/fns/7676: Действующий формат (с 13.04.10) 5.02
|
||||
https://formats.saby.ru/report/fns/117553: Действующий формат (с 01.01.25) 5.05
|
||||
https://formats.saby.ru/report/fns/46181: Действующий формат (с 01.01.22) 3.00004
|
||||
Loading…
Reference in New Issue