Facebook 翻译术神跃进,世界沟通无碍日近了?

Facebook 翻译术神跃进,世界沟通无碍日近了?

「创世记」第 11 章中记载,人类计划建立通天的高塔,而上帝让人类说不同的语言,使得他们无法协作,计划最终失败。

现实中,不同语言成为了各自所属文化的因子,构建出一种多样的美。但语言仍像鸿沟,阻碍着人类的交流。

最近,Facebook 用人工智慧对翻译系统进行了一次重大改造。

他们的工程师发现,网站上对贴文和回覆进行翻译的按钮每天会被点击数十亿次,翻译动作有数千个方向(比如中英互译,英文到中文是一个方向,反之又是另一个方向)之间。

Facebook 翻译术神跃进,世界沟通无碍日近了?

如此巨量的翻译工作,Facebook 一直以来做的却不好。 他们过去使用的统计机器系统,翻译不准俗语,识别不了错字和缩写,无法理解上下文,很难準确翻译贴文的意图。 工程师们用改用一种名叫「带注意力的长短时记忆」(Long Short-Term Memory with attention,LSTM)的深度学习技术,设计了一套人工智慧翻译系统。

目前,新的神经机器翻译系统已完全取代了过去的机翻系统,部署到 Facebook 网站,Instagram 以及其他产品中。改造的效果显着:按照业界公认的 BLEU 标準,Facebook 新翻译系统各种语言互译得分比旧系统提高了 11%。

人际沟通大多通过语言完成。而当参与方不使用统一语言,沟通就必须通过翻译。因此翻译系统的準确度极大影响着沟通的成果。但遗憾的是,绝大多数网上和手机上的翻译网站和软体,背后的技术都来自机器翻译。

通常,机翻系统对常见的单词,短语和句法简单的句子翻译效果较好。如果一句话就是主谓宾,比如「我吃米饭」,系统翻译成「I eat rice」,这没问题。

Facebook 翻译术神跃进,世界沟通无碍日近了?

但比如中日互译,或者下图中土耳其语和英文互译,原文的语言和翻译后语言在句法上有很大的差别,机器翻译就会捉襟见肘了。下图是机翻结果:

Facebook 翻译术神跃进,世界沟通无碍日近了?

翻译出的英文没有语法错误,但还是不太容易懂什幺意思。这是因为机翻会把句子拆成一个个字段,结果就是把一个个字段的翻译放出来,没有对目标语言的语序,语法和表达习惯进行优化。

人工智慧怎样做到更準确,更有人味儿地翻译呢?

维基百科解释,LSTM 是一种在时间上递归神经网路(Recurrent Neural Network), 适合于处理和预测时间序列中间隔和延迟相对较长的重要事件。翻译正好是这种类型的工作,因为很长的一句话,可能后半段是对前半段的逻辑呼应 ,但机翻系统根本不记得前面说的是什幺。

LSTM 能记住整句话的内容,对句子的上下文进行反溯,理解逻辑,从而给出更精确,流利和地道的翻译结果,如下图:

Facebook 翻译术神跃进,世界沟通无碍日近了?

「注意力」(注意)也是深度学习里一个很有趣的机制,它有点像人类观察事物时眼神的聚焦,锅里有菜,你会自动把更多注意力分配到菜上而不是锅或者锅柄。

注意力能够帮助新系统留意一些在标準英语辞典里没有出现的词,这些词很有可能是缩写和短语,比如 idk(I don’t know)、tmrw(tomorrow),也有可能是 网路用语神经机器在句子里发现这样的词,会先留空不翻译,分配一定的计算力,去其他词库和训练数据集查找这个词的释义,最后再翻译出来。

不仅如此,研发团队还利用了一些神经网路剪枝(保留重要的权重)和压缩编码的算法,极大地降低神经翻译系统的词彙表大小,减小了计算量,但没有拉低翻译精度。

搞定了翻译系统,并不是终点,工程师们还要把它部署到 Facebook 数十亿用户量级的后端系统中去。开发了深度学习框架 Caffe 的 Facebook 研究科学家贾扬清,已经带队开发出了更注重模块化,利用移动端和大规模部署的 Caffe2。在新框架上运行,神经翻译系统的效率提升了 2.5 倍。

由于深度学习技术的进展,神经机器翻译在近年越发流行,并已进入许多流行的产品中,开始帮助人们更好地沟通。微软推出的翻译软体  Microsoft Translate,让沟通多方像用微信一样加入群聊,自然对话并获得各自的翻译,备受好评。

Facebook 翻译术神跃进,世界沟通无碍日近了?

去年,全球 5 亿人使用的 Google 翻译服务中部署了神经翻译机器。当时 PingWest 品玩用一些经典中英段落测试互译,仍会出现奇怪的翻译:

人工翻译:

Google 神经机器翻译(去年):

时隔一年之久再去测试,效果已经好了很多:

 

这是由于 神经机器翻译后端的深度学习系统学习能力比统计机更强。随着输入的数据源,以及使用的人越来越多,它能不断提升翻译技巧 。Facebook 用户刚刚超过 20 亿,每天都有超过 13 亿说不同语言的人在上面分享活动,发图片,评论以及点讚。现在,Facebook 翻译后端已经完全迁移至神经机器翻译,这些训练好的神经网路每天处理多达 45 亿次翻译请求。

未来,Facebook 打算引入一些更先进的神经网路架构,比如卷积神经网路(Convolutional Neural Networks,CNN)。测试结果发现使用 CNN 进行英法互译的 BLEU 得分比 LSTM 进一步提升了 12%。不仅如此,他们也在尝试一些更难的挑战,比如多语种(而非双语种)翻译。

届时,基于神经网路的翻译系统,将在精準度,道地程度,多语种翻译能力等更多维度上超过和取代统计机,甚至人工翻译 – 就目前来看,取代这些工作可能是人工智慧为数不多的坏处之一。