Refactor loader and processor documentation; enhance index module with README

This commit is contained in:
Dmitry
2026-04-28 21:04:24 +03:00
parent 29e1ee26fb
commit 045fc41660
7 changed files with 104 additions and 55 deletions
+2 -7
View File
@@ -89,14 +89,9 @@ download_html(url, retries=3, timeout=30.0)
Логика выбора загрузчика:
- если домен заканчивается на `consultant.ru`, сначала пробуется `curl`, затем `urllib`;
- для остальных сайтов сначала пробуется `urllib`, затем `curl`.
- всегда сначала пробуется `curl`, затем `urllib`.
Это задается строкой:
```python
is_consultant = urlparse(url).netloc.endswith("consultant.ru")
```
`curl` надёжнее обходит защиты ConsultantPlus, поэтому стоит первым для любых URL.
## Повторные попытки