神经网络革命,能否让机器翻译打破人类语言壁垒?

尽管川普的走马上任更多与“逆全球化”绑定在一起,但考虑到人类历史“螺旋状”上升的演化轨迹,在技术进步和文化扩散的双重推动下,这个世界总体趋向互通互联的趋势似乎不可违——尤其当全球化与网络相遇的一瞬,不同国家之间平等便捷获取信息,低成本地有效沟通即成一种必然。从这个意义上,全球化的最大敌人之一也许是各国千百年来夯实的语言壁垒。

作为一门交叉学科,机器翻译涉及到认知科学,计算机,信息论,语言学等多学科,其理论路径同样经历了螺旋状上升:从最久远的“翻译备忘录”到后期基于规则,基于实例的机器翻译,再到被视为机器翻译重要转捩点的统计翻译模型(SMT)——后者是科学家初次察觉到通过大数据消弭信息不确定性是攻克“智能”的好办法。

而最近两年,机器翻译正在拥抱另一个更重要的技术转折点——基于神经网络的机器翻译(NMT:Neural Machine Translation)。

机器翻译的技术路径

感同身受的是,无论是普通用户还是资深译员,无论使用WEB还是APP,都明显察觉到近些年来的翻译质量有着迅猛的提升。

问题是:为何变化如此明显?不妨从技术路径上拆解来看。

直觉便知,当人类试图让机器翻译语言时,自然要对文字进行解构,就像同心圆的关系,文章由段落构成,段落由句子构成,句子由短语和字构成,而遵循从易到难,机器翻译的理论路径也是从后向前:从最初的逐字翻译到基于短语的翻译——如今,依靠于神经网络,基于句子的翻译成为可能。

于是,按照翻译单元的不同,大体而言,目前机器翻译有两种类型:其一是上文提及的统计翻译模型(SMT),如你所知,互联网的广泛普及为统计翻译提供了丰富的训练养料,而千禧年左右兴起的基于短语的SMT更是让机器翻译质量大为提高,也在很长一段时间占据机器翻译的主流,但以短语作为翻译单元的弊端即是,当面对整句层面的翻译时显得非常生硬。

另一种类型当然是基于神经网络的机器翻译(NMT),其翻译路径是所谓端到端(end-to-end),将源语句整体编码为一个向量,再通过解码器对其进行解码,理论上仅需给定源语言句子,即可通过神经网络输出目标语言译文。这里不妨举个例子,若你在百度翻译中输入“萝卜青菜各有所爱”,它可以轻松输出“Every man has his hobbyhorse”的正确译文,而非诸如“Turnip greens his taste”的荒诞结果。也正因如此,短短两年,NMT就在多个公开测试集上超越了作为前辈的SMT系统。

而若要比较的话,整体而言,在数据训练比较充分的时候,NMT无疑要优于SMT;在短句或数据量相对较小之时,SMT在处理固定搭配和习惯表达上具有优势。所以两种方式谈不上殊途同归,只是在不同场景中分类而用——要知道,用户的翻译场景颇为多变,这要求一个优秀的翻译系统要成为集大成者。如今百度的翻译系统就包含SMT,NMT,甚至更传统的EBMT(基于实例的机器翻译)。

当然,倘若我们谈论的是未来,几乎可以肯定,神经网络技术本身的向前奔进,会让NMT日趋成为主流(事实上,在百度中英日韩等多个系统中,它已是主流)——在今年8月的国际计算语言学年会上(ACL),移动端离线NMT被列为未来重要研究方向,即是为机器翻译的未来画了一个几乎确定性的脚注。

机器翻译的跑马圈地

自二十世纪三十年代初法国科学家阿尔楚尼提出用机器进行翻译的想法至今,哪怕对人工智能的定义已几经翻折,机器翻译都被长期视为人工智能的“终极目标”之一。巨大的期许往往意味着目标艰难,但这仍然无法阻挡这块大蛋糕对全球顶尖科技大佬的吸引力。

而作为翻译技术发展的初级阶段,如果在这个时候硬要拼个排名或者高下,其实并没有太大意义,而科技界的竞争也无非就是微软、百度、谷歌这三家而已,孰轻孰重一看便知。只不过,从“百度更懂中国”的大思路能够看出,百度在中国乃至亚洲市场更具侵略性,和搜索之争同理,虽然谁都打不死谁,但区域优势已成不争事实。

12月21日,从百度机器翻译技术开放日上百度技术委员会联席主席、自然语言处理部技术负责人吴华博士的观点可以看出,百度其实已经成为了翻译技术领域的破茧者,他们早于谷歌一年就正式上线了基于神经网络的翻译系统,同时也打造了全球首个互联网在线NMT系统以及手机端离线NMT系统。据悉,百度翻译每天已有上亿次访问,支持28种语言的互译,开方的API接口也有超过2万家第三方接入。

而就在前几天,微软发布全球首个万能翻译器,微软官方表示它也可以实现多达100人间实时翻译交谈,并支持9种语言的语音输入。而谷歌全球化带来的影响无疑的巨大的,在收购科技公司的同时也在大力发展区域化优势,如谷歌2014年收购的Word Lens也在积极开展机器翻译的工作,这李彦宏所说的话是一样的道理:用人工智能打破一切边界。

其实,百度的现状其实并不令人意外,考虑到中国经济在全球化中的地位,在将更多人卷入全球化的社会协作网络过程中,中国对翻译行为的仰仗无疑更迫切。而更为现实的是:在全球数万亿网页中,80%为非中文网页;去年中国出境游人数超过1.2亿,前20个旅游目的地国家和地区中共使用了12种语言,尤其是中英语——这个世界上使用人数最多和使用最广泛的两种语言之间的翻译,在很多人眼中是纯粹的刚需。

机器翻译的未来

很简单,翻译技术最终是要服务大众,否则就是镜中月、水中花。

重要的是,技术也逐渐还原到更具体的实用场景,百度翻译APP就通过结合OCR技术和语音技术,为用户满足各种碎片化的翻译需求,举几个例子:当你在国外游览时,只需将手机屏幕对准外文介绍,OCR翻译即可呈现翻译结果;面对天书一般的外文菜单,百度翻译可以迅捷地将菜单翻译结果显示在手机上,从此不必再在点餐时听天由命;在国外买买买时,它也能让你快速读懂说明书;另外,当遇到不认识的实物,实物翻译可以用中英双语告知其名,同时伴随着准确的发音;而结合语音技术的会话翻译,能帮助用户与外国人无障碍交流——我甚至还看到过这样的新闻:靖江市民警在语言不通的情况下,用百度翻译成功救助4名俄罗斯籍船员……

技术的福祉正在惠及每一位担心语言关的人,而另一端,一部分人对技术的忧虑也在所难免。“未来若干年,我们很容易想象语言障碍会完全被打破,现在做同声翻译的人可能将来就没有工作了。”上个月的乌镇互联网大会,李彦宏为人们勾勒了未来的场景。

机器虽然突破了固有翻译原则的局限,但必须承认的是,机器翻译和真正意义上的“语言学”还关系不大,距离文人向往的“信雅达”目标还很遥远,这也意味着,机器翻译任重道远,人工翻译可稍安勿躁。

究其原因,在基于端到端的翻译手法中,神经网络无法理解自己翻译出的句子,无法对译文给出一个合理解释——这正是它与专业人工翻译最本质的差别。譬如,遵循上文提及的从后向前(从易到难)的理论路径,让机器理解基于“段落”甚至“篇章”的翻译自然再好不过,这要求机器在上下文理解和连贯性上飞跃一大步。

那么问题是:它会实现么?作为技术乐观主义者,我个人答案当然是会,一切或许只是时间问题。

在昔日古老的岁月,人类诞生语言的原始目的,一方面是增进本族人的内部沟通,另一方面是制造与外族的天然隔阂。而若你相信技术的发展内嵌在全球化的伟大浪潮中,通过技术终结千万年来人类语言互不相通的历史就值得期许。毕竟,让人们听懂彼此,这是一个太过古老的夙愿。

相关新闻

  • Facebook 全球货币战略:从企业进化成“超级国家”

    Facebook 全球货币战略:从企业进化成“超级国家”

    民族国家是人类有史以来最强大的社会结构。数以百万计的人因为这样或那样的原因联系在一起,起草管理社会网络的法律。组织这一网络的原因可以任意,如信仰不可剥夺的权利,或共同的语言、地理、经济等。因此,官僚和独裁者,无论是否由选举产生,都会起草法律来影响通讯,管理社会组织,建设基础设施,并为他们的社会做出经济决策。如此一来,少数人的决定会影响许多人的生活——无论是好是坏。 Facebook监管着一个平台,这个平台就影响着通讯、管理着社会组织、建设着基础设施,并为有史以来规模最大的社会网络做出经济决策。虽…

    公司新闻 2019年5月29日
  • 电商进入深水区 下半场要解决哪些问题?

    电商进入深水区 下半场要解决哪些问题?

    【TechWeb报道】12月21日消息,由亿邦动力网主办,思路网协办,2016亿邦未来零售大会于12月19日-21日在广州白云万达希尔顿酒店举行。国内外电商领域知名企业高管、专家学者、媒体代表共计2000余人出席。 电商进入深水区 下半场要解决哪些问题? 本届大会以“新物种、新规则、新电商”为主题,包括两天的主论坛、五场分论坛、电商经理人之夜以及马蹄社和亿邦疯人会等系列活动。值得关注的是,在本届大会上,电商产业所熟知的如阿里巴巴、京东、唯品会、当当、亚马逊等面孔都没有出现,取而代之的全部是新生代…

    行业动态 2016年12月22日
  • 扎克伯格似乎承认Facebook是媒体公司 但不是传统的

    扎克伯格似乎承认Facebook是媒体公司 但不是传统的

    新浪科技讯 北京时间12月22日早间消息,Facebook究竟是媒体公司还是科技公司?几个月来,尽管Facebook在人们选择新闻的过程中扮演了越来越重要的角色,但该公司CEO马克·扎克伯格(Mark Zuckerberg)始终坚持后者。不过,他本周三稍稍调整了立场。 他表示,Facebook不是一家传统的媒体公司或传统的科技公司。这二者有很大的区别:华尔街对科技公司的估值往往远高于纯媒体公司。 扎克伯格是在与Facebook COO雪莉·桑德伯格(Sheryl Sandberg)一同参加Fac…

    行业动态 2016年12月22日
  • 各大科技公司纷纷涉足无人驾驶:2016是无人车转折年

    各大科技公司纷纷涉足无人驾驶:2016是无人车转折年

    导语:CNN网站近日撰文称,2016年成为无人驾驶汽车的重要转折年,为这项技术今后的发展奠定了良好基础。 以下为文章全文: 如果说美国总统大选是今年的最大新闻,相信所有美国人都不会有异议。 但与此同时,无人驾驶汽车也开始步入正轨。科技企业和创业公司都在争相开发这项技术。就连通常站在幕后的政府也纷纷介入其中。 无人驾驶行业吸引的大量资金、人才和时间将极大地改变我们的生活方式。关于无人驾驶汽车将在何时走入主流,目前的观点尚未统一。但要不了多久,这就有可能成为全年最大的新闻。 2016年伊始,通用汽车…

    行业动态 2016年12月22日
  • 市行政审批局“互联网+”打造指尖上的政务服务

    市行政审批局“互联网+”打造指尖上的政务服务

    【襄阳政府网消息】前段时间,位于谷城县的湖北供销金洋再生资源有限公司要在当地谷水路边设置2个指示牌。工作人员并没有跑到80多公里外的市行政审批局,而是在当地路政服务窗口通过网上平台直接申报施工许可,很快拿到了施工许可证。 过去,群众办事不便,为一件事跑多趟、耗多天的现象经常发生。今年,市行政审批局以深化“互联网+行政审批”为抓手,以电脑客户端、手机移动端、微信公众号为载体,不断优化服务,构筑市县两级审批互联互通,打造随时随地服务的在线网上“政务超市”。 对点多、线长、面广的行政审批业务,该局充分…

    行业动态 2016年12月22日
  • 阿里回应美将淘宝列入“恶名市场”:非常失望

    阿里回应美将淘宝列入“恶名市场”:非常失望

    原标题:阿里巴巴向环球时报回应美将淘宝列入“恶名市场”:非常失望 疑受政治氛围影响 【环球时报报道 记者 张烨】阿里巴巴集团总裁白求恩向环球时报明确表示:“阿里巴巴集团对于美国贸易代表办公室将淘宝纳入‘恶名市场’名单的决定感到非常失望。 四年前,正是该办公室将我们从这一名单上移除。四年来,我们与品牌权利人、执法机构开展了一系列将造假者绳之于法的实际行动,更有效、更先进地开展了知识产权保护工作。而美国贸易代表办公室恰恰在这个时候将我们重新列回‘恶名市场’名单,我们高度怀疑这一决定是否实事求是,抑或…

    行业动态 2016年12月22日