mirror of
https://github.com/ada-dmitry/CourseWork_IRFM.git
synced 2026-09-24 01:10:18 +00:00
Dmitry
0b41577a42
- Implemented loader in `modules/loader.py` to download HTML pages using curl and urllib. - Created processor in `modules/processor.py` for processing the text of the Russian Criminal Code (УК РФ). - Added README files for both loader and processor explaining their functionality and usage. - Generated output files including original text, prepared text, and subject index in CSV and JSON formats.
Обработка УК РФ
Источник данных: https://www.consultant.ru/document/cons_doc_LAW_10699/
Запуск:
uv run python main.py
Скрипт загружает страницы статей УК РФ с Consultant, оставляет только содержательный текст статей, убирает заголовки, номера пунктов, редакционные и заключительные блоки, затем выполняет лемматизацию, удаление пунктуации, стоп-слов, числительных и имен собственных.
Подробные описания модулей:
- LOADER_README.md — загрузка HTML;
- CRAWLER_README.md — обход страниц ConsultantPlus и извлечение текста;
- PROCESSOR_README.md — подготовка текста и построение предметного указателя.
Результаты сохраняются в output/:
uk_rf_original.txt— исходный содержательный текст до лемматизации;uk_rf_prepared.txt— подготовленный текст для анализа без числительных, цифровых единиц и имен собственных;uk_rf_subject_index.csv— предметный указатель на 100 основных лемм с частотой, строкой и символом первого появления;uk_rf_subject_index.json— тот же указатель в JSON.