AI 懂俄语语法吗？莫大和 Yandex 出了份 48 条规则的考卷

大模型的中文英文都不错，可一碰上俄语语法就露馅。莫斯科大学和 Yandex 在 2025 年「对话」国际会议上先后发布了两项工作：一套 48 条规则标注的俄语语法纠错语料库，和一份 7013 句的「可变一致关系」评分基准。结果很直白——最強的模型也只能做到 81%。

本篇材料译自：Сорокин А., Насырова Р. // «Диалог 2025»；Студеникина К.А., Лютикова Е.А., Герасимова А.А. // «Диалог 2025», С. 384–392。体例说明：斜体灰字为论文摘要俄文原文，汉语为编者据原文重述。

一、第一份考卷：48 条规则，960 个句子

В работе представлен корпус LORuGEC — первый корпус с аннотацией правил для задачи исправления грамматических ошибок в русском языке.

这项工作的成果是语料库 LORuGEC——第一个做俄语语法纠错的语料库，里面每个错误都配着一条规定正确写法的规则。

В него входят 48 правил, преимущественно пунктуационных и орфографических, корпус состоит из 348 примеров для валидации и 612 примеров для тестирования.

一共收了 48 条规则，以标点和拼写为主；语料库由 348 个验证样例和 612 个测试样例组成。

编者按：LORuGEC 全称是「лингвистически ориентированный корпус」，重点在「语言学导向」——它不是简单标出「这里错了」，而是标明「这里违反了哪条规则」。这对教学场景意义很大：纠错模型不只告诉你答案，还能告诉你错在哪条规矩上。

二、成绩单：开源 50%，闭源 75%

Среди доступных моделей среднего размера наилучшие результаты показала модель Qwen2.5-7B, дообученная в два этапа, достигшая F0.5 50 %.

在可获取的中等规模模型里，Qwen2.5-7B 成绩最好；经过两阶段微调，F0.5 指标达到 50%。

Среди моделей с закрытым доступом лучший результат few-shot у коммерческой модели YandexGPT4 Pro — 75 %.

在闭源模型里，商业模型 YandexGPT4 Pro 在少样本（few-shot）条件下 F 值达到 75%。

编者按：F0.5 是纠错任务常用的指标，它更看重「改得准」而不是「改得多」，比精确率更严格。50% 和 75% 意味着，模型每改两处，至少有一处是改不动的。

三、真正的技巧：用规则去挑例题

Мы показываем, что правила можно использовать для обучения ретривера, который выбирает примеры для подачи в языковую модель.

研究还展示了一个思路：可以用规则来训练一个检索器，由它来挑选喂给语言模型的示例。

Дополнение языковой модели ретривером, обученным на правилах, улучшает качество до 57 % и 81 % у Qwen и YandexGPT соответственно.

给语言模型配上这个基于规则训练的检索器之后，Qwen 和 YandexGPT 的质量分别提升到 57% 和 81%。

编者按：这是全文最实用的结论——规则的加入不是替代模型，而是帮模型「选例题」。就像学生刷题，题选得准，提分比多刷十本题册都快。81% 和 75% 之间那 6 个百分点，全部来自「挑示例」这一个动作。

四、第二份考卷：7013 句的「可变一致关系」

В этом исследовании мы изучаем, насколько хорошо большие языковые модели могут оценивать градуированную приемлемость предложений.

本研究考察的是：大语言模型能不能按刻度给句子的可接受性打分。

Мы представляем новый бенчмарк на основе данных синтаксических экспериментов по русскому вариативному согласованию.

我们推出了一个新的基准测试，数据来自俄语可变一致关系（вариативное согласование）的句法实验结果。

Набор данных состоит из 7013 предложений с оценками от 1 до 7, охватывающих явления вариативного согласования разной степени приемлемости.

数据集包含 7013 个句子，按 1 到 7 分评级，覆盖不同可接受性等级的可变一致现象。

编者按：「可变一致关系」指的是同一个句子里，形容词和名词的性、数、格搭配存在多个都说得通的版本。人类母语者能凭语感分出「更好」和「更差」，模型能不能？这份基准就是量这件事的。

五、两个模型，两种毛病

Результаты показывают, что GigaChat-Pro, обученная в основном на русскоязычных данных, сильно зависит от режима тестирования.

结果显示，主要在俄语数据上训练的 GigaChat-Pro，表现很看测试模式。

Мультиязычная модель Mistral Large демонстрирует лучшее качество и устойчивость к типу инструкции.

多语言模型 Mistral Large 的质量更高，而且不吃指令类型这一套。

Mistral удается распознать почти все значимые контрасты, обнаруженные в эксперименте, в то время как ответы GigaChat близки к случайным.

Mistral 几乎能认出实验里全部显著对比，而 GigaChat 的回答接近随机猜。

编者按：一个只吃俄语数据的模型，反而输给了一个多语言模型——这说明在语法判断这种需要精细辨析的任务上，「数据纯度」救不了「能力差距」。顺带一提：这份工作的第一作者是莫斯科大学，而 Mistral 并不在俄语数据上占优，结论更值得琢磨。

Дополнение языковой модели ретривером, обученным на правилах, улучшает качество до 57 % и 81 % у Qwen и YandexGPT соответственно.

给语言模型配上这个基于规则训练的检索器之后，Qwen 和 YandexGPT 的质量分别提升到 57% 和 81%。

—— Сорокин, Насырова // «Диалог 2025»

参考文献

Сорокин А., Насырова Р. LORuGEC: лингвистически ориентированный корпус для задачи исправления грамматических ошибок в русском языке // Компьютерная лингвистика и интеллектуальные технологии: материалы международной конференции «Диалог 2025». 2025.https://dialogue-conf.org/wp-content/uploads/2025/04/SorokinANasyrovaR.052.pdf

Студеникина К.А., Лютикова Е.А., Герасимова А.А. Градуальная оценка приемлемости с помощью больших языковых моделей: данные русского вариативного согласования // Компьютерная лингвистика и интеллектуальные технологии: «Диалог 2025». 2025. С. 384–392.https://dialogue-conf.org/wp-content/uploads/2025/06/StudenikinaKALyutikovaEAGerasimovaAA.021.pdf

本篇数据与引文均译自上列文献与报道原文，出版方信息以原文为准；汉语译文为编者据俄文原文重述，仅供学习参考，不作为规范语言用法的依据。如有出入，请以原文献为准。