当前位置:首页 > 关于讯飞 > 新闻中心 > 讯飞动态 > 正文
关于讯飞

重大突破 | 又是科大讯飞!摘得机器语法检错桂冠上的明珠,哈工大讯飞联合实验室夺中文语法诊断大赛全球冠军!

发布时间:2018-07-27 来源: 点击次数: 打印 作者:

字号:

      以前写作文,老师改语病,如今,AI就能揪出问题。在语病纠错的武林江湖里,中文又比英文难得多近,一场通过AI检测中文语病的“中文语法错误自动诊断大赛”上,哈工大讯飞联合实验室摘得桂冠



中文语法错误自动诊断大赛官方网页


      第五届中文语法错误自动诊断大赛(Chinese Grammatical Error Diagnosis,简称 CGED)刚在澳大利亚墨尔本举行。本届CGED评测的参赛者可谓高手如云,团队包括中国社科院、阿里巴巴、北京大学、哈工大讯飞联合实验室(下文简称HFL)等,终由HFL竞得冠军。


外国人写的中文错句做考题

新增“语病修正”项获高分


      写完一篇作文,语文老师批改时从里面选出多余的词、缺少的词、使用不当的表述、以及语序不通的表述,然后一一改正过来。这样的场景,现在已经成为一场世界性的比赛——中文语法错误自动诊断大赛(简称CGED)(比赛官网:http://www.cged.science),今年第五届的评测大会于7月19日在澳大利亚墨尔本举行,这场比赛终由哈工大讯飞联合实验室摘得桂冠。


      比赛方式是,主办方挑选了一些外国人写作的中文句子片段,让参赛者通过人工智能算法技术对其中的语法语义错误进行识别并进行系统性能评估。



今年共13个团队参加CGED评测


      所选“考题”有四种错误类型,具体包括多词、缺词、用词不当和语序不当。


      比赛从四个维度对参赛者的能力进行评估:语病识别(即:识别句子是否有错误)、语病分类(识别具体的错误类型)、语病定位(识别错误的位置和类型)、语病修正(对于缺词和错词,提供修正的建议)。一共有13个团队参加了这项比赛。


      在这四项成绩中,哈工大讯飞联合实验室获得了后三项的第一名、以及第一项的第二名,总体排名第一,首次参赛便摘得冠军。


      值得一提的是,去年的比赛只有三项成绩,第四项“语病修正”是今年才增加的比赛分项。和去年相比,除了“指出问题”,还提供“解决答案”,其难度更上一级。在“语病修正”的任务中,在“第一候选”或“前三候选”项,HFL分别获得0.1723分和0.2527分,以绝对领先的成绩排第一名。也就是说,在13个参赛团队中,HFL做语法改错题成绩棒。



在难的“语病修正”比赛分项中HFL摘获第一名


      为什么可以在“语病修正”任务中斩获佳绩?


      科大讯飞研究院北京分院副院长、哈工大讯飞联合实验室主任助理付瑞吉分析,因为参赛系统采取了端到端的神经网络模型与词汇点互信息相结合,将语病位置空出,根据上下文以及语病信息对于该位置正确的词汇进行推测。


纠错语法AI冠军如何诞生?
通过神经网络序列标注模型生成

      怎么区分“静静的顿河”与“静静地等待”这两个短句中,“的”和“地”有何区别?哈工大讯飞联合实验室出品的AI神器就能做得到!靠的是对神经网络序列标注模型BiLSTM-CRF进行改进。

      付瑞吉分析,这次HFL的AI可以获得冠军,有赖于对神经网络序列标注模型BiLSTM-CRF进行改进,包括底层的整个模型、单模型内部的融合、模型外的融合三大板块。具体而言——

      第一,将词向量、统计、先验的语法知识相融合,如汉语语言习惯用法等统计特征,比如“静静的顿河”和“静静地等待”中结构助词“的”和“地”的使用会根据上下文的词性而决定;

      第二,采用模型内部融合的技术,将多个BiLSTM单模型的输出加权融合,再经过CRF计算终结果;

      第三,采用了模型选取、模型排序等外部融合方法,发挥了不同模型的优势。

      总体来说,这三项“黑科技”让哈工大讯飞联合实验室出品的AI可以获得更好的语感,从而摘冠。


HFL语法检错技术框架图

中文比英文语病纠错难度大得多

语病纠错应用前景广泛


      需要说明的是,在语病纠错领域,中文比英文难度大得多。这主要由两个原因决定的:第一,英语语法规范,有严格的主谓宾;第二,英文积累的语料丰富,剑桥大学已经积累了上千万个句子。

      相较之下,中文语法灵活,语病检测的技术难度高得多,而且目前参加评测的语料库只有3万多个句子,语料量亟待扩充。

      所以,目前英语语法纠错已经有成熟的应用,而中文的语法纠错还处于不断积累和探索的阶段。从现在的评测结果来看,目前的技术指标还比较低,离实际应用尚需时日。

      值得期待的是,无论是学习外语,还是文稿的错字校对,这次参赛获奖的语病检测和修正技术未来都将有广泛的应用前景。

      据悉,为了推动这项技术的发展,赛事主办方已经将精心标注的历届比赛数据全部开源,付瑞吉说,“我们对主办方的科学奉献精神表示感谢!也希望更多的研究者能够参与到该任务中来,共同推动技术进步”。

HFL“牛”在哪里?
布局“讯飞超脑”让机器能理解会思考


      哈工大讯飞联合实验室(HFL)是科大讯飞针对“讯飞超脑”项目计划,重点引进和布局的核心研发团队之一,由科大讯飞AI研究院与哈尔滨工业大学社会计算与信息检索研究中心(HIT-SCIR)在2014年共同创办。



      根据联合实验室建设规划,双方将在语言认知计算领域进行长期、深入合作,具体开展阅读理解、自动阅卷、类人答题、人机对话、语音识别后处理、社会舆情计算等前瞻课题的研究。

      研究重点将突破深层语义理解、逻辑推理决策、自主学习进化等认知智能关键技术,支撑科大讯飞实现从“能听会说”到“能理解会思考”的技术跨越,并围绕教育、司法、金融、人机交互等领域实现科研成果的规模化应用。目前,HFL有语文评阅、阅读理解、智能司法、社会计算等研究方向。

      2017年7月、10月以及2018年1月,哈工大讯飞联合实验室的阅读理解研究组(HFL-RC)在业内公认的机器阅读理解顶级赛事斯坦福SQuAD挑战赛中先后夺得三次第一名。2018年2月,获得国际语义评测(SemEval 2018)阅读理解任务第一名。

      这次获得CGED大赛的是HFL语文评阅研究组,其研发的作文自动评阅技术通过自动学习人类专家的评分标准,对纸笔考试作文从字迹工整度、词汇丰富性、句子通顺度、文采、篇章结构、立意等多个维度综合评价。目前,作文自动评阅技术以辅助人工进行评分质检等应用方式,已在全国多地考试中应用,覆盖考生数百万人



科大讯飞作文自动评阅技术框架

CGED大赛【考题类型】
看看你强还是AI强?


      M(missing word)错词
      错误:人战胜了饥饿,才努力为了下一代做更好的、更健康的东西。
      正确:人战胜了饥饿,才能努力为了下一代做更好的、更健康的东西。

      R(redundant word) 多词
      错误:我根本不能理解这妇女辞职回家的现象。在这个时代,为什么放弃自己的工作,就回家当家庭主妇?
      正确:我根本不能理解妇女辞职回家的现象。在这个时代,为什么放弃自己的工作,就回家当家庭主妇?

      S(word selection) 用词不当
      错误:我根本不能了解妇女辞职回家的现象。在这个时代,为什么放弃自己的工作,就回家当家庭主妇?
      正确:我根本不能理解妇女辞职回家的现象。在这个时代,为什么放弃自己的工作,就回家当家庭主妇?

      W(word order)语序不当
      错误:饥饿的问题也是应该解决的。世界上每天由于饥饿很多人死亡。
      正确:饥饿的问题也是应该解决的。世界上每天很多人由于饥饿死亡。


科大讯飞AI
连获多项“世界第一”


      2017年,国际语音合成大赛全新无监督MachineLearning任务第一名;


      2017年-2018年,三次刷新机器阅读理解领域权威评测SQuAD世界纪录;

      2017年10月,刷新自动驾驶领域权威国际评测Cityscapes世界纪录;

      2018年,声音模仿领域 Voice ConversionChallenge获得第一名;

      2018年2月,机器阅读理解领域第十二届国际语义评测比赛(International Workshop on Semantic Evaluation, SemEval 2018)第一名;

      2018年3月,在由国际医学影像顶级会议ISBI举办的IDRiD眼底图分析竞赛中,科大讯飞在体现机器辅助医生诊断能力的病灶分割任务中难的子项“MA分割任务”获得第一;

      2018年4月,在由国际学术顶会ICPR举办的图文识别挑战赛 MTWI Challenge中,科大讯飞与中科大语音及语言国家工程实验室联合团队在全部三项比赛任务上获得第一;

      2018年7月,在2018国际语音合成大赛的比赛中,科大讯飞报送的参赛系统摘得10个测评打分项目中的9项第一,成为“全能的冠军”,科大讯飞已在该项比赛中连续十三年夺冠。

关 闭