ada/CourseWork_IRFM
1
0
Fork 0
mirror of https://github.com/ada-dmitry/CourseWork_IRFM.git synced 2026-09-24 01:10:18 +00:00
Code Issues Packages Projects Releases Wiki Activity

Refactor loader and processor documentation; enhance index module with README

Browse Source
This commit is contained in:
Dmitry
2026-04-28 21:04:24 +03:00
parent 29e1ee26fb
commit 045fc41660
7 changed files with 104 additions and 55 deletions
Download Patch File Download Diff File Expand all files Collapse all files
modules/processor.py
+5 -2
View File
@@ -83,7 +83,8 @@ else:
@lru_cache(maxsize=100_000)
def parse_word(word: str):
"""Возвращает (лемма, тег) для слова. Кешируем, чтобы не прогонять одно и то же через модуль постоянно.
"""
Возвращает (лемма, тег) для слова. Кешируем, чтобы не прогонять одно и то же через модуль постоянно.
«ё» → «е» для единообразия леммы в словаре и при сравнении.
Если pymorphy3 не установлен, тег пустой, лемма = lower().
@@ -103,7 +104,9 @@ def parse_word(word: str):
@lru_cache(maxsize=10_000)
def _tag_parts(tag: str) -> frozenset[str]:
"""Разбивает строку тега pymorphy3 на множество граммем для быстрого поиска."""
"""
Разбивает строку тега pymorphy3 на множество граммем для быстрого поиска.
"""
return frozenset(re.split(r"[, ]+", tag))