Обработка УК РФ

Источник данных: https://www.consultant.ru/document/cons_doc_LAW_10699/

Запуск:

uv run python main.py

Скрипт загружает страницы статей УК РФ с Consultant, оставляет только содержательный текст статей, убирает заголовки, номера пунктов, редакционные и заключительные блоки, затем выполняет лемматизацию, удаление пунктуации, стоп-слов, числительных и имен собственных.

Подробные описания модулей:

• LOADER_README.md — загрузка HTML;
• CRAWLER_README.md — обход страниц ConsultantPlus и извлечение текста;
• PROCESSOR_README.md — подготовка текста и построение предметного указателя.

Результаты сохраняются в output/:

• uk_rf_original.txt — исходный содержательный текст до лемматизации;
• uk_rf_prepared.txt — подготовленный текст для анализа без числительных, цифровых единиц и имен собственных;
• uk_rf_subject_index.csv — предметный указатель на 100 основных лемм с частотой, строкой и символом первого появления;
• uk_rf_subject_index.json — тот же указатель в JSON.