夜雨聆风学习资料网

ARTICLE · 1220080

AI 改俄语作业靠得住吗:48 条规则里,29 条它自己也搞不定

AI 改俄语作业靠得住吗:48 条规则里,29 条它自己也搞不定

把俄语作文丢给 AI 改语法,靠不靠谱?莫斯科大学和 Yandex 的研究者做了个实验:他们把俄语写作规则整理成 48 条,每条配上错句和正句,公开考了一大批大模型。结论有点扎心——最难的部分集中在标点和"не 的写法"上,而这恰恰是中国学生翻车率最高的地方。

本篇依据:Сорокин А., Насырова Р.《LORuGEC: лингвистически ориентированный корпус для задачи исправления грамматических ошибок в русском языке》,«Диалог 2025»(2025 年 4 月);LORuGEC 公开数据集(GitHub);同作者 BEA 2025 工作组论文(ACL 2025)。规则定义与错句—正句对均取自 LORuGEC 数据集原文。

这个实验是怎么设计的

LORuGEC 是第一个"带规则标注"的俄语语法纠错语料库:每条错句旁边都标着它违反的是哪一条俄语写作规则,规则全部来自语法参考书、教师手册和教育网站。先看几条规则原文——你大概率在俄语课本里见过它们。

Союз «чтобы» пишется слитно (в одно слово).

连词«чтобы〉(为了)要连写(写成一个词)。

Частица -таки пишется раздельно после существительных, прилагательных, личных местоимений и союзов.

语气词 -таки(终于、还是)在名词、形容词、人称代词和连词之后要分写。

Причастие ставится в тот же род, число и падеж, что и определяемое слово.

形动词必须与被修饰的词保持相同的性、数、格。

С глаголами (в личной форме, в инфинитиве, в форме деепричастия) частица «не» пишется раздельно.

не 与动词连用时(人称形式、不定式、副动词形式),一律分写。

数据卡:LORuGEC 语料库规模

48 条|规则总数,分属 4 大板块

17 条|标点(逗号、破折号为主)

25 条|拼写(не 的分合、пре/при、词缀等)

4 条|语法(支配、数词变格、一致关系)

2 条|语义(词语搭配、赘语)

960 对|错句—正句总数:348 个验证句 + 612 个测试句

29 / 48|对基础模型(YandexGPT3 Pro)有难度的规则数

编者按:语料库是"故意"为考试设计的——没有训练集,就是为了测出模型"已经知道什么",而不是让它现学。论文原话:这个语料库刻意做小,就是为了诊断。

看几个真实错句:这些坑 AI 也常栽

光看规则没感觉,直接上错句。下面每一组都取自数据集里的真实样例:左边是错句,右边是正句。你可以自己先判断一遍,再看答案。

实例卡:12 组错句 → 正句(全部取自 LORuGEC 数据集样例)

«что-бы» → «чтобы» 连词不能拆开写。错句:"…нужно четко понимать задачи такого инструментария, что-бы…"

«снегу-таки» → «снегу таки» таки 分写。错句:"К ночи снегу-таки намело."

«душонька» → «душенька» -оньк/-еньк 分不清:元音和软辅音、唏音后用 -еньк。错句:"родная моя душонька"

«несмелость» → «не смелость» не+名词:有"不是…而是…"的对立时分写。错句:"Она проявила несмелость, а трусость."

«не простая» → «непростая» не+形容词:没有对立词、且能换成同义词时连写。错句:"У нас была, мягко говоря, не простая история отношений."

«а так же» → «а также» 连接词 также 连写。错句:"…хозяева, слуги, а так же дети…"

«за то, что» ↔ «зато» за то, что(因为……)分写;зато(但是)连写。错句:"Аргументы зато, что религиозный фактор…"

«полутора» → "полтора" полтора/полторы/полтораста 的变格是俄语数词里的老大难。

«прибывает» → «пребывает» пре-/при-:这里是"停留在"义,应用 пре-。错句:"…теперь прибывает в институт…"

«двухсот шестидесяти пяти» → "двести шестьдесят пяти" 复合数词变格:двести 不变格,二百要变。

"погонишься ни одного" → "погонишься — ни одного" 结果从句要加破折号。谚语:追两只兔子,一只也抓不到。

"работал , как экономист" → "работал как экономист" как 表"作为"义时不用逗号隔开。

编者按:这 12 组只是 960 组里的样例。它们的共同点:都是俄罗斯中考(ЕГЭ)和《俄语正写法》里的高频考点(LORuGEC 规则来源口径:语法参考书、教师手册与教育网站,含罗津塔利《俄语正写法》在线版),也都是中国学生写作时的经典翻车点。

模型到底能考多少分

规则和句子都备好了,接下来就是考模型。研究者的结论是:开源模型和闭源模型之间差着一道坎,而规则用得上的地方,恰恰是最难的地方。

数据卡:模型成绩(F0.5 值,越高越好)

50%|开源中等模型 Qwen2.5-7B,两阶段微调后的最佳 F0.5(«Диалог 2025»口径)

75%|闭源模型 YandexGPT4 Pro,少样本(few-shot)的 F 值

81%|YandexGPT4 Pro + 规则标注训练示例检索器后的 F 值

57%|Qwen2.5-7B 同法提升后的 F 值

83%|YandexGPT-5 Pro,5-shot 学习的最佳 F0.5(BEA 2025 口径,同团队新版论文)

29/48|基础模型觉得难的规则数;最难集中在标点和语义两类

编者按:两篇论文是同一团队的连续工作:2025 年 4 月的会议版考到 81%,2025 年 7 月发表于 ACL 工作组(BEA 2025)的版本把 YandexGPT-5 Pro 考到了 83%。注意两个口径的模型不同(GPT4 Pro vs GPT-5 Pro),数字不能直接对比。

这件事对中国学生有什么用

实用结论有三条,都可以直接用。

生活应用三条

盯死这几类错 не 与动词/形容词/名词的分合写法、пре/при、пол-、таки/зато/оттого/притом/также/чтобы——既是你的高频错,也是 AI 的高频错。

AI 改稿可以信一半 它改"熟悉的错误"越来越准,但对需要理解语义的规则(搭配、赘语、标点逻辑)仍会漏。改完自己按规则过一遍。

重音别问 AI AI 基本不标重音。俄语重音得靠词典和听说积累——顺便说,俄国人自己查重音查得最多的词,上一篇刚列过。

Причастие ставится в тот же род, число и падеж, что и определяемое слово.

形动词,必须与被修饰的词保持相同的性、数、格。

——LORuGEC 规则表(Сорокин & Насырова,2025)

参考文献

Сорокин А., Насырова Р. LORuGEC: лингвистически ориентированный корпус для задачи исправления грамматических ошибок в русском языке // «Диалог 2025». 2025. С. 384–392.https://dialogue-conf.org/wp-content/uploads/2025/04/SorokinANasyrovaR.052.pdf

Sorokin A., Nasyrova R. LLMs in Alliance with Edit-based Models: Advancing In-Context Learning for Grammatical Error Correction by Specific Example Selection // Proceedings of the 20th Workshop on Innovative Use of NLP for Building Educational Applications (BEA 2025). Vienna: ACL, 2025. P. 517–534.https://aclanthology.org/2025.bea-1.38/

LORuGEC: Linguistically Oriented Rule-annotated GEC Dataset for Russian. GitHub.(规则定义与错句—正句样例数据集)https://github.com/ReginaNasyrova/LORuGEC

本篇数据与引文均译自上列文献与报道原文,出版方信息以原文为准;汉语译文为编者据俄文原文重述,仅供学习参考,不作为规范语言用法的依据。如有出入,请以原文献为准。

相关学习资料