例如针对细粒度情感倾向分析 SemEval 2014 Restaurant 数据集，将 847 个带有明显情感词的测试用例进行文本变换，使用转换评论对象倾向性极性（RevTgt），转换非评论对象倾向性极性（RevNon）和原句后增加干扰句（AddDiff）三种不同的变形分别生成了 847、582 和 847 个测试实例 。10 种不同模型在上述变形语料上的分析结果如下所示：

文章插图


从结果中可以看到，原始测试集上所有模型的精度（Accuracy）和宏平均 F1（Macro-F1）得分都非常高，平均精度接近 86％，平均宏平均 F1 达到 65％ 。但是，这些指标在变形后的三个新测试集上均有显著下降 。转换评论对象倾向性极性变形使得模型的性能下降最多，因为它要求模型更精准地关注目标情感词 。原句后增加干扰句变形导致非 BERT 模型的性能下降显著，这表明大多数非预训练模型缺乏将相关方面与无关方面进行区分的能力 。
总结
大规模的其他领域测评结果也同样显示，现有算法在大多数任务的测评数据集上的表现都较原始结果有所下降 。即便是基于大规模预训练模型 BERT 的算法在一些任务的精度指标上也呈现了超过 50% 的降幅，这意味着这些算法在真实场景中几乎是不可用的 。从以上大规模的评测结果可以看出，目前绝大多数算法模型的鲁棒性都亟待提升，这是一场无可回避的技术攻坚 。
复旦大学自然语言处理实验室希望通过 TextFlint 这一面向自然语言处理的鲁棒性评测工具集合，为研究人员提供一个便捷的模型鲁棒性验证方法，从而推动自然语言处理算法更好地应用于真实场景 。同时，也呼吁将模型鲁棒性纳入模型评估的必要维度，推动自然语言处理技术实现有效良性的发展 。在未来，复旦大学自然语言处理实验室也将投入更多的人力和算力，进一步完善 TextFlint 工具的任务覆盖范围和模型验证数量，并开展面向 NLP 任务的高鲁棒可解释模型的原创研究 。

秒懂生活扩展阅读

• 口袋妖怪叶绿伊布进化成什么好
• 水晶之恋果冻是干啥的 水晶之恋用果冻怎么玩
• 番茄的家常做法 番茄做法
• wow按键精灵能检测出来么 wow按键精灵
• 预调鸡尾酒怎么调酒
• Si是什么元素MnCr
• 今日庄园小答案正确的是 蚂蚁庄园今日正确答案
• 朝花夕拾手抄报8k初中 朝花夕拾手抄报
• 守岁古诗的意思 守岁是什么意思
• ubl耳机 UBL