gg

modules/crawler.py

@@ -41,7 +41,7 @@ def download_document_page(url: str, allow_partial: bool = False) -> str:
             time.sleep(0.5)
             continue
 
-        if allow_partial or "</html>" in page_html.lower():
+        if allow_partial or "</html>" in page_html[-100:].lower():
             return page_html
 
         last_html = page_html
@@ -65,24 +65,21 @@ def main_content(tree):
     return nodes[0] if nodes else None
 
 
-def article_title(page_html: str) -> str:
+def article_title(tree) -> str:
-    tree = html.fromstring(page_html)
     content = main_content(tree)
     if content is None:
         return ""
 
     h1 = content.xpath(".//h1")
-    if h1 and clean_text(h1[0].text_content()):
+    if h1:
-        return clean_text(h1[0].text_content())
+        text = clean_text(h1[0].text_content())
+        if text:
+            return text
 
     styles = content.xpath(".//div[contains(concat(' ', normalize-space(@class), ' '), ' doc-style ')]")
     return clean_text(styles[0].text_content()) if styles else ""
 
 
-def is_article_page(page_html: str) -> bool:
-    return bool(ARTICLE_RE.match(article_title(page_html)))
-
-
 def service_line(line: str) -> bool:
     low = line.lower()
 
@@ -90,7 +87,7 @@ def service_line(line: str) -> bool:
         return True
     if low.startswith("(част") and ("в ред." in low or "введен" in low):
         return True
-    if "федеральн" in low and any(word in low for word in ("ред.", "введен", "утратил", "утратила")):
+    if "федеральн" in low and any(word in low for word in ("ред.", "введен", "утратил")):
         return True
     if low in {"президент", "российской федерации", "б.ельцин", "москва, кремль"}:
         return True
@@ -102,8 +99,7 @@ def service_line(line: str) -> bool:
     return False
 
 
-def extract_page_text(page_html: str, url: str = "") -> str:
+def extract_page_text(tree) -> str:
-    tree = html.fromstring(page_html)
     content = main_content(tree)
     if content is None:
         return ""
@@ -125,8 +121,7 @@ def extract_page_text(page_html: str, url: str = "") -> str:
     return "\n".join(lines)
 
 
-def extract_article_urls(page_html: str, base_url: str) -> list[str]:
+def extract_article_urls(tree, base_url: str) -> list[str]:
-    tree = html.fromstring(page_html)
     prefix = document_prefix(base_url)
     result = []
 
@@ -139,8 +134,7 @@ def extract_article_urls(page_html: str, base_url: str) -> list[str]:
     return result
 
 
-def extract_next_document_url(page_html: str, base_url: str) -> str | None:
+def extract_next_document_url(tree, base_url: str) -> str | None:
-    tree = html.fromstring(page_html)
     prefix = document_prefix(base_url)
     links = tree.xpath("//a[contains(concat(' ', normalize-space(@class), ' '), ' pages__right ')][@href]")
     if not links:
@@ -175,7 +169,7 @@ def crawl_document(start_url: str = START_URL, max_pages: int = 800) -> list[dic
 
     try:
         start_html = download_document_page(start_url, allow_partial=True)
-        add_known_urls(known_urls, extract_article_urls(start_html, start_url))
+        add_known_urls(known_urls, extract_article_urls(html.fromstring(start_html), start_url))
         current_url = known_urls[0] if known_urls else FIRST_ARTICLE_URL
     except RuntimeError as exc:
         print(f"[crawler] start page is unavailable: {exc}")
@@ -191,23 +185,21 @@ def crawl_document(start_url: str = START_URL, max_pages: int = 800) -> list[dic
             print(f"[crawler] skip page {current_url}: {exc}")
             break
 
-        add_known_urls(known_urls, extract_article_urls(page_html, current_url))
+        tree = html.fromstring(page_html)
+        title = article_title(tree)
+        article_urls = extract_article_urls(tree, current_url)
+        next_url = extract_next_document_url(tree, current_url)
 
-        if is_article_page(page_html):
+        add_known_urls(known_urls, article_urls)
-            text = extract_page_text(page_html, current_url)
+
+        if ARTICLE_RE.match(title):
+            text = extract_page_text(tree)
             if text:
-                pages.append(
+                pages.append({"url": current_url, "title": title, "text": text})
-                    {
-                        "url": current_url,
-                        "title": article_title(page_html),
-                        "text": text,
-                    }
-                )
 
-        if "Статья 361." in article_title(page_html):
+        if "Статья 361." in title:
             break
 
-        next_url = extract_next_document_url(page_html, current_url)
         if next_url is None:
             next_url = next_known_article(current_url, known_urls, visited)
         current_url = next_url

modules/processor.py

@@ -85,25 +85,27 @@ else:
     MORPH = pymorphy3.MorphAnalyzer()
 
 
-def normalize(word: str) -> str:
-    return word.lower().replace("ё", "е")
-
-
 @lru_cache(maxsize=100_000)
 def parse_word(word: str):
+    w = word.lower().replace("ё", "е")
     if MORPH is None:
-        return normalize(word), ""
+        return w, ""
 
-    parsed = MORPH.parse(normalize(word))
+    parsed = MORPH.parse(w)
     if not parsed:
-        return normalize(word), ""
+        return w, ""
 
     best = parsed[0]
-    return normalize(best.normal_form), str(best.tag)
+    return best.normal_form.lower().replace("ё", "е"), str(best.tag)
+
+
+@lru_cache(maxsize=10_000)
+def _tag_parts(tag: str) -> frozenset[str]:
+    return frozenset(re.split(r"[, ]+", tag))
 
 
 def has_tag(tag: str, names: set[str]) -> bool:
-    return bool(set(re.split(r"[, ]+", tag)) & names)
+    return bool(_tag_parts(tag) & names)
 
 
 def is_numeral(lemma: str, tag: str) -> bool:

output/uk_rf_original.txt

@@ -2330,6 +2330,8 @@
 в отношении воинских захоронений, а также памятников, стел, обелисков, других мемориальных сооружений или объектов, увековечивающих память погибших при защите Отечества или его интересов в период Великой Отечественной войны либо посвященных дням воинской славы России в этот период (в том числе мемориальных музеев или памятных знаков на местах боевых действий), а равно памятников, других мемориальных сооружений или объектов, посвященных лицам, защищавшим Отечество или его интересы в период Великой Отечественной войны;
 с применением насилия или с угрозой его применения, -
 наказывается штрафом в размере от двух до пяти миллионов рублей или в размере заработной платы или иного дохода осужденного за период от одного года до пяти лет, либо обязательными работами на срок до четырехсот восьмидесяти часов, либо принудительными работами на срок до пяти лет, либо лишением свободы на тот же срок.
+Уничтожение, повреждение либо осквернение расположенных на территории Российской Федерации или за ее пределами захоронений жертв геноцида советского народа, а также памятников, стел, обелисков, других мемориальных сооружений или объектов, увековечивающих память жертв геноцида советского народа, в целях причинения ущерба историко-культурному значению таких объектов -
+наказывается штрафом в размере от двух до пяти миллионов рублей или в размере заработной платы или иного дохода осужденного за период от одного года до пяти лет, либо обязательными работами на срок до четырехсот восьмидесяти часов, либо принудительными работами на срок до пяти лет, либо лишением свободы на тот же срок.
 Надругательство над телами умерших либо уничтожение, повреждение или осквернение мест захоронения, надмогильных сооружений или кладбищенских зданий, предназначенных для церемоний в связи с погребением умерших или их поминовением, за исключением случаев, предусмотренных статьей 243.4 настоящего Кодекса, -
 наказываются штрафом в размере до сорока тысяч рублей или в размере заработной платы или иного дохода осужденного за период до трех месяцев, либо обязательными работами на срок до трехсот шестидесяти часов, либо исправительными работами на срок до одного года, либо арестом на срок до трех месяцев.
 Те же деяния, совершенные:
@@ -2607,14 +2609,15 @@
 наказывается принудительными работами на срок до пяти лет либо лишением свободы на тот же срок.
 Создание, распространение и (или) использование компьютерных программ либо иной компьютерной информации, заведомо предназначенных для неправомерного воздействия на критическую информационную инфраструктуру Российской Федерации, в том числе для уничтожения, блокирования, модификации, копирования информации, содержащейся в ней, или нейтрализации средств защиты указанной информации, -
 наказываются принудительными работами на срок до пяти лет с ограничением свободы на срок до двух лет или без такового либо лишением свободы на срок от двух до пяти лет со штрафом в размере от пятисот тысяч до одного миллиона рублей или в размере заработной платы или иного дохода осужденного за период от одного года до трех лет.
-Неправомерный доступ к охраняемой компьютерной информации, содержащейся в критической информационной инфраструктуре Российской Федерации, в том числе с использованием компьютерных программ либо иной компьютерной информации, которые заведомо предназначены для неправомерного воздействия на критическую информационную инфраструктуру Российской Федерации, или иных вредоносных компьютерных программ, если он повлек причинение вреда критической информационной инфраструктуре Российской Федерации, -
+Неправомерный доступ к охраняемой компьютерной информации, содержащейся в критической информационной инфраструктуре Российской Федерации, в том числе с использованием компьютерных программ либо иной компьютерной информации, которые заведомо предназначены для неправомерного воздействия на критическую информационную инфраструктуру Российской Федерации, или иных вредоносных компьютерных программ, если он повлек уничтожение, блокирование, модификацию либо копирование компьютерной информации, содержащейся в критической информационной инфраструктуре Российской Федерации, -
 наказывается принудительными работами на срок до пяти лет со штрафом в размере от пятисот тысяч до одного миллиона рублей или в размере заработной платы или иного дохода осужденного за период от одного года до трех лет и с ограничением свободы на срок до двух лет или без такового либо лишением свободы на срок от двух до шести лет со штрафом в размере от пятисот тысяч до одного миллиона рублей или в размере заработной платы или иного дохода осужденного за период от одного года до трех лет.
-Нарушение правил эксплуатации средств хранения, обработки или передачи охраняемой компьютерной информации, содержащейся в критической информационной инфраструктуре Российской Федерации, или информационных систем, информационно-телекоммуникационных сетей, автоматизированных систем управления, сетей электросвязи, относящихся к критической информационной инфраструктуре Российской Федерации, либо правил доступа к указанным информации, информационным системам, информационно-телекоммуникационным сетям, автоматизированным системам управления, сетям электросвязи, если оно повлекло причинение вреда критической информационной инфраструктуре Российской Федерации, -
+Нарушение правил эксплуатации средств хранения, обработки или передачи охраняемой компьютерной информации, содержащейся в критической информационной инфраструктуре Российской Федерации, или информационных систем, информационно-телекоммуникационных сетей, автоматизированных систем управления, сетей электросвязи, относящихся к критической информационной инфраструктуре Российской Федерации, либо правил доступа к указанным информации, информационным системам, информационно-телекоммуникационным сетям, автоматизированным системам управления, сетям электросвязи, если оно повлекло уничтожение, блокирование, модификацию либо копирование компьютерной информации, содержащейся в критической информационной инфраструктуре Российской Федерации, -
 наказывается принудительными работами на срок до пяти лет с лишением права занимать определенные должности или заниматься определенной деятельностью на срок до трех лет или без такового либо лишением свободы на срок до шести лет с лишением права занимать определенные должности или заниматься определенной деятельностью на срок до трех лет или без такового.
 Деяния, предусмотренные частью первой, второй или третьей настоящей статьи, совершенные группой лиц по предварительному сговору или организованной группой, или лицом с использованием своего служебного положения, -
 наказываются лишением свободы на срок от трех до восьми лет с лишением права занимать определенные должности или заниматься определенной деятельностью на срок до трех лет или без такового.
 Деяния, предусмотренные частью первой, второй, третьей или четвертой настоящей статьи, если они повлекли тяжкие последствия, -
 наказываются лишением свободы на срок от пяти до десяти лет с лишением права занимать определенные должности или заниматься определенной деятельностью на срок до пяти лет или без такового.
+Примечание. Лицо, совершившее преступление, предусмотренное частью третьей настоящей статьи, освобождается от уголовной ответственности, если оно активно способствовало раскрытию и (или) расследованию преступления, в том числе предприняло необходимые меры по сохранению следов неправомерного воздействия на критическую информационную инфраструктуру Российской Федерации, и если в его действиях не содержится иного состава преступления.
 Нарушение порядка установки, эксплуатации и модернизации в сети связи технических средств противодействия угрозам устойчивости, безопасности и целостности функционирования на территории Российской Федерации информационно-телекоммуникационной сети "Интернет" и сети связи общего пользования либо несоблюдение технических условий их установки или требований к сетям связи при использовании указанных технических средств, совершенные должностным лицом или индивидуальным предпринимателем, подвергнутыми административному наказанию за деяние, предусмотренное частью 2 статьи 13.42 Кодекса Российской Федерации об административных правонарушениях, -
 наказывается штрафом в размере от семисот тысяч до полутора миллионов рублей или в размере заработной платы или иного дохода осужденного за период от одного года до восемнадцати месяцев, либо исправительными работами на срок до одного года, либо принудительными работами на срок до трех лет, либо лишением свободы на тот же срок.
 Нарушение требований к пропуску трафика через технические средства противодействия угрозам устойчивости, безопасности и целостности функционирования на территории Российской Федерации информационно-телекоммуникационной сети "Интернет" и сети связи общего пользования, совершенное должностным лицом или индивидуальным предпринимателем, подвергнутыми административному наказанию за деяние, предусмотренное частью 2 статьи 13.42.1 Кодекса Российской Федерации об административных правонарушениях, -
@@ -3351,7 +3354,7 @@
 наказываются штрафом в размере до трехсот тысяч рублей или в размере заработной платы или иного дохода осужденного за период до двух лет либо лишением свободы на срок до трех лет.
 Те же деяния, совершенные с использованием средств массовой информации либо лицом, занимающим государственную должность Российской Федерации или государственную должность субъекта Российской Федерации, -
 наказываются штрафом в размере от ста тысяч до пятисот тысяч рублей или в размере заработной платы или иного дохода осужденного за период от одного года до трех лет либо лишением свободы на срок до пяти лет с лишением права занимать определенные должности или заниматься определенной деятельностью на срок до трех лет.
-Отрицание фактов, установленных приговором Международного военного трибунала для суда и наказания главных военных преступников европейских стран оси, одобрение преступлений, установленных указанным приговором, а равно распространение заведомо ложных сведений о деятельности СССР в годы Второй мировой войны, о ветеранах Великой Отечественной войны, совершенные публично, -
+Отрицание фактов, установленных приговором Международного военного трибунала для суда и наказания главных военных преступников европейских стран оси, одобрение преступлений, установленных указанным приговором, отрицание факта геноцида советского народа или одобрение геноцида советского народа, а равно распространение заведомо ложных сведений о деятельности СССР в годы Второй мировой войны, о ветеранах Великой Отечественной войны, совершенные публично, -
 наказываются штрафом в размере до трех миллионов рублей или в размере заработной платы или иного дохода осужденного за период до трех лет, либо принудительными работами на срок до трех лет с лишением права занимать определенные должности или заниматься определенной деятельностью на срок до трех лет, либо лишением свободы на тот же срок с лишением права занимать определенные должности или заниматься определенной деятельностью на срок до трех лет.
 Те же деяния, совершенные:
 лицом с использованием своего служебного положения;
@@ -3359,7 +3362,7 @@
 с использованием средств массовой информации либо информационно-телекоммуникационных сетей, в том числе сети "Интернет";
 с искусственным созданием доказательств обвинения, -
 наказываются штрафом в размере от двух до пяти миллионов рублей или в размере заработной платы или иного дохода осужденного за период от одного года до пяти лет, либо принудительными работами на срок до пяти лет с лишением права занимать определенные должности или заниматься определенной деятельностью на срок до пяти лет, либо лишением свободы на тот же срок с лишением права занимать определенные должности или заниматься определенной деятельностью на срок до пяти лет.
-Распространение выражающих явное неуважение к обществу сведений о днях воинской славы и памятных датах России, связанных с защитой Отечества, а равно осквернение символов воинской славы России, оскорбление памяти защитников Отечества либо унижение чести и достоинства ветерана Великой Отечественной войны, совершенные публично, -
+Распространение выражающих явное неуважение к обществу сведений о днях воинской славы и памятных датах России, связанных с защитой Отечества, а равно осквернение символов воинской славы России, оскорбление памяти защитников Отечества или жертв геноцида советского народа либо унижение чести и достоинства ветерана Великой Отечественной войны, совершенные публично, -
 наказываются штрафом в размере до трех миллионов рублей или в размере заработной платы или иного дохода осужденного за период до трех лет, либо обязательными работами на срок до трехсот шестидесяти часов, либо исправительными работами на срок до одного года, либо принудительными работами на срок до трех лет с лишением права занимать определенные должности или заниматься определенной деятельностью на срок до трех лет, либо лишением свободы на тот же срок с лишением права занимать определенные должности или заниматься определенной деятельностью на срок до трех лет.
 Деяния, предусмотренные частью третьей настоящей статьи, совершенные группой лиц, группой лиц по предварительному сговору или организованной группой, или с использованием средств массовой информации либо информационно-телекоммуникационных сетей, в том числе сети "Интернет", -
 наказываются штрафом в размере от двух до пяти миллионов рублей или в размере заработной платы или иного дохода осужденного за период от одного года до пяти лет, либо принудительными работами на срок до пяти лет с лишением права занимать определенные должности или заниматься определенной деятельностью на срок до пяти лет, либо лишением свободы на тот же срок с лишением права занимать определенные должности или заниматься определенной деятельностью на срок до пяти лет.

output/uk_rf_prepared.txt

@@ -2330,6 +2330,8 @@
 отношение воинский захоронение памятник стела обелиск другой мемориальный сооружение объект увековечивать память погибнуть защита отечество интерес период великий отечественный война посвятить день воинский слава период число мемориальный музей памятный знак место боевой действие равно памятник другой мемориальный сооружение объект посвятить лицо защищать отечество интерес период великий отечественный война
 применение насилие угроза применение
 наказываться штраф размер размер заработный плата иной доход осудить период обязательный работа срок принудительный работа срок лишение свобода срок
+уничтожение повреждение осквернение расположить территория предел захоронение жертва геноцид советский народ памятник стела обелиск другой мемориальный сооружение объект увековечивать память жертва геноцид советский народ цель причинение ущерб историко-культурный значение объект
+наказываться штраф размер размер заработный плата иной доход осудить период обязательный работа срок принудительный работа срок лишение свобода срок
 надругательство тело умерший уничтожение повреждение осквернение место захоронение надмогильный сооружение кладбищенский здание предназначить церемония связь погребение умерший поминовение исключение случай предусмотреть
 наказываться штраф размер размер заработный плата иной доход осудить период обязательный работа срок исправительный работа срок арест срок
 деяние совершенный
@@ -2607,14 +2609,15 @@
 наказываться принудительный работа срок лишение свобода срок
 создание распространение использование компьютерный программа иной компьютерный информация заведомо предназначить неправомерный воздействие критический информационный инфраструктура число уничтожение блокирование модификация копирование информация содержаться нейтрализация средство защита указанный информация
 наказываться принудительный работа срок ограничение свобода срок таковой лишение свобода срок штраф размер размер заработный плата иной доход осудить период
-неправомерный доступ охранять компьютерный информация содержаться критический информационный инфраструктура число использование компьютерный программа иной компьютерный информация заведомо предназначить неправомерный воздействие критический информационный инфраструктура иной вредоносный компьютерный программа повлечь причинение вред критический информационный инфраструктура
+неправомерный доступ охранять компьютерный информация содержаться критический информационный инфраструктура число использование компьютерный программа иной компьютерный информация заведомо предназначить неправомерный воздействие критический информационный инфраструктура иной вредоносный компьютерный программа повлечь уничтожение блокирование модификация копирование компьютерный информация содержаться критический информационный инфраструктура
 наказываться принудительный работа срок штраф размер размер заработный плата иной доход осудить период ограничение свобода срок таковой лишение свобода срок штраф размер размер заработный плата иной доход осудить период
-нарушение правило эксплуатация средство хранение обработка передача охранять компьютерный информация содержаться критический информационный инфраструктура информационный система информационно-телекоммуникационный сеть автоматизированный система управление сеть электросвязь относиться критический информационный инфраструктура правило доступ указать информация информационный система информационно-телекоммуникационный сеть автоматизированный система управление сеть электросвязь повлечь причинение вред критический информационный инфраструктура
+нарушение правило эксплуатация средство хранение обработка передача охранять компьютерный информация содержаться критический информационный инфраструктура информационный система информационно-телекоммуникационный сеть автоматизированный система управление сеть электросвязь относиться критический информационный инфраструктура правило доступ указать информация информационный система информационно-телекоммуникационный сеть автоматизированный система управление сеть электросвязь повлечь уничтожение блокирование модификация копирование компьютерный информация содержаться критический информационный инфраструктура
 наказываться принудительный работа срок лишение право занимать определенный должность заниматься определенный деятельность срок таковой лишение свобода срок лишение право занимать определенный должность заниматься определенный деятельность срок таковой
 деяние предусмотренный совершенный группа лицо предварительный сговор организовать группа лицо использование служебный положение
 наказываться лишение свобода срок лишение право занимать определенный должность заниматься определенный деятельность срок таковой
 деяние предусмотренный повлечь тяжкий последствие
 наказываться лишение свобода срок лишение право занимать определенный должность заниматься определенный деятельность срок таковой
+примечание лицо совершить преступление предусмотренный освобождаться уголовный ответственность активно способствовать раскрытие расследование преступление число предпринять необходимый мера сохранение след неправомерный воздействие критический информационный инфраструктура действие содержаться иной состав преступление
 нарушение порядок установка эксплуатация модернизация сеть связь технический средство противодействие угроза устойчивость безопасность целостность функционирование территория информационно-телекоммуникационный сеть сеть связь общий пользование несоблюдение технический условие установка требование сеть связь использование указанный технический средство совершенный должностной лицо индивидуальный предприниматель подвергнуть административный наказание деяние предусмотренный административный правонарушение
 наказываться штраф размер размер заработный плата иной доход осудить период исправительный работа срок принудительный работа срок лишение свобода срок
 нарушение требование пропуск трафик технический средство противодействие угроза устойчивость безопасность целостность функционирование территория информационно-телекоммуникационный сеть сеть связь общий пользование совершенный должностной лицо индивидуальный предприниматель подвергнуть административный наказание деяние предусмотренный административный правонарушение
@@ -3351,7 +3354,7 @@
 наказываться штраф размер размер заработный плата иной доход осудить период лишение свобода срок
 деяние совершенный использование средство массовый информация лицо занимать государственный должность государственный должность субъект
 наказываться штраф размер размер заработный плата иной доход осудить период лишение свобода срок лишение право занимать определенный должность заниматься определенный деятельность срок
-отрицание факт установленный приговор международный военный трибунал суд наказание главный военный преступник европейский страна ось одобрение преступление установленный указать приговор равно распространение заведомо ложный сведение деятельность год мировой война ветеран великий отечественный война совершенный публично
+отрицание факт установленный приговор международный военный трибунал суд наказание главный военный преступник европейский страна ось одобрение преступление установленный указать приговор отрицание факт геноцид советский народ одобрение геноцид советский народ равно распространение заведомо ложный сведение деятельность год мировой война ветеран великий отечественный война совершенный публично
 наказываться штраф размер размер заработный плата иной доход осудить период принудительный работа срок лишение право занимать определенный должность заниматься определенный деятельность срок лишение свобода срок лишение право занимать определенный должность заниматься определенный деятельность срок
 деяние совершенный
 лицо использование служебный положение
@@ -3359,7 +3362,7 @@
 использование средство массовый информация информационно-телекоммуникационный сеть число сеть
 искусственный создание доказательство обвинение
 наказываться штраф размер размер заработный плата иной доход осудить период принудительный работа срок лишение право занимать определенный должность заниматься определенный деятельность срок лишение свобода срок лишение право занимать определенный должность заниматься определенный деятельность срок
-распространение выражать явный неуважение общество сведение день воинский слава памятный дата связанный защита отечество равно осквернение символ воинский слава оскорбление память защитник отечество унижение честь достоинство ветеран великий отечественный война совершенный публично
+распространение выражать явный неуважение общество сведение день воинский слава памятный дата связанный защита отечество равно осквернение символ воинский слава оскорбление память защитник отечество жертва геноцид советский народ унижение честь достоинство ветеран великий отечественный война совершенный публично
 наказываться штраф размер размер заработный плата иной доход осудить период обязательный работа срок исправительный работа срок принудительный работа срок лишение право занимать определенный должность заниматься определенный деятельность срок лишение свобода срок лишение право занимать определенный должность заниматься определенный деятельность срок
 деяние предусмотренный совершенный группа лицо группа лицо предварительный сговор организовать группа использование средство массовый информация информационно-телекоммуникационный сеть число сеть
 наказываться штраф размер размер заработный плата иной доход осудить период принудительный работа срок лишение право занимать определенный должность заниматься определенный деятельность срок лишение свобода срок лишение право занимать определенный должность заниматься определенный деятельность срок

output/uk_rf_subject_index.csv

@@ -1,53 +1,53 @@
 word;count;line;char;source_word
-срок;3342;34;151;срок
+срок;3345;34;151;срок
-размер;2024;136;25;размере
+размер;2026;136;25;размере
-лишение;1843;31;183;лишения
+лишение;1844;31;183;лишения
-свобода;1563;3;53;свобод
+свобода;1564;3;53;свобод
 определенный;1399;120;24;определенные
-иной;1267;4;241;иные
+иной;1269;4;241;иные
-лицо;1224;7;1;Лица
+лицо;1225;7;1;Лица
-наказываться;1084;493;1;наказывается
+наказываться;1085;493;1;наказывается
-работа;1080;122;14;работы
+работа;1082;122;14;работы
-осудить;973;25;746;осуждены
+осудить;974;25;746;осуждены
 таковой;942;409;174;таковых
-штраф;899;119;1;штраф
+штраф;900;119;1;штраф
-период;873;136;135;период
+период;874;136;135;период
-доход;864;136;113;дохода
+доход;865;136;113;дохода
 деятельность;824;53;752;деятельности
-заработный;808;136;86;заработной
+заработный;809;136;86;заработной
-плата;808;136;97;платы
+плата;809;136;97;платы
 право;797;2;118;права
 должность;704;120;37;должности
-преступление;696;3;309;преступлений
+преступление;699;3;309;преступлений
 занимать;694;120;15;занимать
 заниматься;682;120;51;заниматься
-принудительный;659;56;135;принудительные
+принудительный;660;56;135;принудительные
 деяние;657;4;174;деяния
 совершенный;578;20;15;совершенные
-предусмотренный;474;14;113;предусмотренного
+предусмотренный;475;14;113;предусмотренного
 ограничение;447;116;223;ограничении
 группа;410;85;144;группу
 наказание;406;4;229;наказаний
 средство;353;53;541;средством
 крупный;338;848;122;крупных
 совершение;329;4;283;совершение
-обязательный;261;114;116;обязательных
+обязательный;262;114;116;обязательных
 организация;250;53;870;организацию
 повлечь;248;546;68;повлекшие
 тяжкий;237;30;185;тяжкие
 использование;234;84;221;использования
+совершить;229;7;7;совершившие
 исправительный;229;123;1;исправительные
-совершить;228;7;7;совершившие
 отношение;213;7;213;отношения
-действие;206;8;74;действия
+действие;207;8;74;действия
-цель;204;13;121;целью
+цель;205;13;121;целью
 государственный;188;53;2031;государственного
 равно;187;85;107;равно
 сумма;185;136;229;сумме
 применение;184;6;1;Применение
 предусмотреть;184;18;133;предусмотренных
 организовать;183;85;32;организовавшее
-уголовный;180;1;1;Уголовное
+уголовный;181;1;1;Уголовное
 особо;178;30;207;особо
 суд;175;23;349;суда
 предварительный;165;93;124;предварительного
@@ -55,24 +55,24 @@ word;count;line;char;source_word
 незаконный;162;53;1199;незаконном
 случай;161;22;141;случае
 сговор;161;74;174;сговор
-примечание;159;296;1;Примечание
+примечание;160;296;1;Примечание
-ответственность;156;1;122;ответственность
+ответственность;157;1;122;ответственность
 арест;156;127;1;арест
-причинение;151;9;71;причинение
+причинение;150;9;71;причинение
 неосторожность;143;60;78;неосторожности
-ущерб;142;204;135;ущерба
+ущерб;143;204;135;ущерба
 признаваться;141;4;181;признаются
 заведомо;141;53;1130;заведомо
-другой;138;7;297;других
+другой;139;7;297;других
 несовершеннолетний;138;54;6;несовершеннолетний
-вред;137;9;82;вреда
+вред;135;9;82;вреда
 положение;134;7;184;положения
 орган;133;80;135;органам
 имущество;131;53;621;имущества
 вещество;131;53;1607;веществ
 вид;127;4;224;виды
+информация;127;87;107;информации
 служба;126;124;24;службе
-информация;125;87;107;информации
 здоровье;124;53;179;здоровью
 указанный;118;35;337;указанного
 нарушение;118;201;29;нарушении
@@ -86,8 +86,8 @@ word;count;line;char;source_word
 превышать;105;31;164;превышает
 денежный;105;135;12;денежное
 смерть;104;492;41;смерти
+число;102;17;274;числе
 законодательство;101;1;11;законодательство
-число;101;17;274;числе
 насилие;101;101;295;насилием
 иностранный;98;22;68;иностранных
 характер;94;4;270;характера

output/uk_rf_subject_index.json

@@ -1,28 +1,28 @@
 [
   {
     "word": "срок",
-    "count": 3342,
+    "count": 3345,
     "line": 34,
     "char": 151,
     "source_word": "срок"
   },
   {
     "word": "размер",
-    "count": 2024,
+    "count": 2026,
     "line": 136,
     "char": 25,
     "source_word": "размере"
   },
   {
     "word": "лишение",
-    "count": 1843,
+    "count": 1844,
     "line": 31,
     "char": 183,
     "source_word": "лишения"
   },
   {
     "word": "свобода",
-    "count": 1563,
+    "count": 1564,
     "line": 3,
     "char": 53,
     "source_word": "свобод"
@@ -36,35 +36,35 @@
   },
   {
     "word": "иной",
-    "count": 1267,
+    "count": 1269,
     "line": 4,
     "char": 241,
     "source_word": "иные"
   },
   {
     "word": "лицо",
-    "count": 1224,
+    "count": 1225,
     "line": 7,
     "char": 1,
     "source_word": "Лица"
   },
   {
     "word": "наказываться",
-    "count": 1084,
+    "count": 1085,
     "line": 493,
     "char": 1,
     "source_word": "наказывается"
   },
   {
     "word": "работа",
-    "count": 1080,
+    "count": 1082,
     "line": 122,
     "char": 14,
     "source_word": "работы"
   },
   {
     "word": "осудить",
-    "count": 973,
+    "count": 974,
     "line": 25,
     "char": 746,
     "source_word": "осуждены"
@@ -78,21 +78,21 @@
   },
   {
     "word": "штраф",
-    "count": 899,
+    "count": 900,
     "line": 119,
     "char": 1,
     "source_word": "штраф"
   },
   {
     "word": "период",
-    "count": 873,
+    "count": 874,
     "line": 136,
     "char": 135,
     "source_word": "период"
   },
   {
     "word": "доход",
-    "count": 864,
+    "count": 865,
     "line": 136,
     "char": 113,
     "source_word": "дохода"
@@ -106,14 +106,14 @@
   },
   {
     "word": "заработный",
-    "count": 808,
+    "count": 809,
     "line": 136,
     "char": 86,
     "source_word": "заработной"
   },
   {
     "word": "плата",
-    "count": 808,
+    "count": 809,
     "line": 136,
     "char": 97,
     "source_word": "платы"
@@ -134,7 +134,7 @@
   },
   {
     "word": "преступление",
-    "count": 696,
+    "count": 699,
     "line": 3,
     "char": 309,
     "source_word": "преступлений"
@@ -155,7 +155,7 @@
   },
   {
     "word": "принудительный",
-    "count": 659,
+    "count": 660,
     "line": 56,
     "char": 135,
     "source_word": "принудительные"
@@ -176,7 +176,7 @@
   },
   {
     "word": "предусмотренный",
-    "count": 474,
+    "count": 475,
     "line": 14,
     "char": 113,
     "source_word": "предусмотренного"
@@ -225,7 +225,7 @@
   },
   {
     "word": "обязательный",
-    "count": 261,
+    "count": 262,
     "line": 114,
     "char": 116,
     "source_word": "обязательных"
@@ -258,6 +258,13 @@
     "char": 221,
     "source_word": "использования"
   },
+  {
+    "word": "совершить",
+    "count": 229,
+    "line": 7,
+    "char": 7,
+    "source_word": "совершившие"
+  },
   {
     "word": "исправительный",
     "count": 229,
@@ -265,13 +272,6 @@
     "char": 1,
     "source_word": "исправительные"
   },
-  {
-    "word": "совершить",
-    "count": 228,
-    "line": 7,
-    "char": 7,
-    "source_word": "совершившие"
-  },
   {
     "word": "отношение",
     "count": 213,
@@ -281,14 +281,14 @@
   },
   {
     "word": "действие",
-    "count": 206,
+    "count": 207,
     "line": 8,
     "char": 74,
     "source_word": "действия"
   },
   {
     "word": "цель",
-    "count": 204,
+    "count": 205,
     "line": 13,
     "char": 121,
     "source_word": "целью"
@@ -337,7 +337,7 @@
   },
   {
     "word": "уголовный",
-    "count": 180,
+    "count": 181,
     "line": 1,
     "char": 1,
     "source_word": "Уголовное"
@@ -393,14 +393,14 @@
   },
   {
     "word": "примечание",
-    "count": 159,
+    "count": 160,
     "line": 296,
     "char": 1,
     "source_word": "Примечание"
   },
   {
     "word": "ответственность",
-    "count": 156,
+    "count": 157,
     "line": 1,
     "char": 122,
     "source_word": "ответственность"
@@ -414,7 +414,7 @@
   },
   {
     "word": "причинение",
-    "count": 151,
+    "count": 150,
     "line": 9,
     "char": 71,
     "source_word": "причинение"
@@ -428,7 +428,7 @@
   },
   {
     "word": "ущерб",
-    "count": 142,
+    "count": 143,
     "line": 204,
     "char": 135,
     "source_word": "ущерба"
@@ -449,7 +449,7 @@
   },
   {
     "word": "другой",
-    "count": 138,
+    "count": 139,
     "line": 7,
     "char": 297,
     "source_word": "других"
@@ -463,7 +463,7 @@
   },
   {
     "word": "вред",
-    "count": 137,
+    "count": 135,
     "line": 9,
     "char": 82,
     "source_word": "вреда"
@@ -503,6 +503,13 @@
     "char": 224,
     "source_word": "виды"
   },
+  {
+    "word": "информация",
+    "count": 127,
+    "line": 87,
+    "char": 107,
+    "source_word": "информации"
+  },
   {
     "word": "служба",
     "count": 126,
@@ -510,13 +517,6 @@
     "char": 24,
     "source_word": "службе"
   },
-  {
-    "word": "информация",
-    "count": 125,
-    "line": 87,
-    "char": 107,
-    "source_word": "информации"
-  },
   {
     "word": "здоровье",
     "count": 124,
@@ -608,6 +608,13 @@
     "char": 41,
     "source_word": "смерти"
   },
+  {
+    "word": "число",
+    "count": 102,
+    "line": 17,
+    "char": 274,
+    "source_word": "числе"
+  },
   {
     "word": "законодательство",
     "count": 101,
@@ -615,13 +622,6 @@
     "char": 11,
     "source_word": "законодательство"
   },
-  {
-    "word": "число",
-    "count": 101,
-    "line": 17,
-    "char": 274,
-    "source_word": "числе"
-  },
   {
     "word": "насилие",
     "count": 101,