mirror of
https://github.com/ada-dmitry/CourseWork_IRFM.git
synced 2026-09-24 01:10:18 +00:00
Add loader and processor modules with documentation and output files
- Implemented loader in `modules/loader.py` to download HTML pages using curl and urllib. - Created processor in `modules/processor.py` for processing the text of the Russian Criminal Code (УК РФ). - Added README files for both loader and processor explaining their functionality and usage. - Generated output files including original text, prepared text, and subject index in CSV and JSON formats.
This commit is contained in:
@@ -0,0 +1,24 @@
|
||||
## Обработка УК РФ
|
||||
|
||||
Источник данных: https://www.consultant.ru/document/cons_doc_LAW_10699/
|
||||
|
||||
Запуск:
|
||||
|
||||
```bash
|
||||
uv run python main.py
|
||||
```
|
||||
|
||||
Скрипт загружает страницы статей УК РФ с Consultant, оставляет только содержательный текст статей, убирает заголовки, номера пунктов, редакционные и заключительные блоки, затем выполняет лемматизацию, удаление пунктуации, стоп-слов, числительных и имен собственных.
|
||||
|
||||
Подробные описания модулей:
|
||||
|
||||
- [LOADER_README.md](LOADER_README.md) — загрузка HTML;
|
||||
- [CRAWLER_README.md](CRAWLER_README.md) — обход страниц ConsultantPlus и извлечение текста;
|
||||
- [PROCESSOR_README.md](PROCESSOR_README.md) — подготовка текста и построение предметного указателя.
|
||||
|
||||
Результаты сохраняются в `output/`:
|
||||
|
||||
- `uk_rf_original.txt` — исходный содержательный текст до лемматизации;
|
||||
- `uk_rf_prepared.txt` — подготовленный текст для анализа без числительных, цифровых единиц и имен собственных;
|
||||
- `uk_rf_subject_index.csv` — предметный указатель на 100 основных лемм с частотой, строкой и символом первого появления;
|
||||
- `uk_rf_subject_index.json` — тот же указатель в JSON.
|
||||
|
||||
Reference in New Issue
Block a user