自然语言处理，理解世界的钥匙

在前几期，我们分别介绍了计算机“看的能力”——视觉识别系统《AI应用 | 从模仿到超越,视觉智能下一步会怎样进化？》、“听的能力”——语音识别系统《AI应用 | 语音识别，让机器听懂这个世界》、“动的能力”——导航系统《AI应用 | 机器人移动的一小步，是科技变革的一大步》，这一期来谈谈计算机的“认知能力”。

 

“认知”的核心技术是自然语言处理，这是人工智能领域中的一个重要方向，研究各种理论和方法，涉及的领域较多，主要包括机器翻译、阅读理解、智能写作、对话系统、基础技术和语义计算等。

 

计算机能“理解并开口说话”，意味着与人类可进行更广泛的交流，从而一步步逼近并超越“图灵测试”，让人工智能掀开新的篇章。

 

NLP开始长大了

 

NLP（自然语言处理）的发展史如同让一个孩子从咿呀学语到出口成章。

 

小孩子是怎么学习的？在一定的场景下，从一个句子的语法结构加上词性来理解。经过阅读大量的作品，小孩子就掌握了如何去分词、断句。

 

计算机掌握分词也参照了这样的方法。

 

人类一开始处理自然语言就是首先制作字典，尽可能把字词收录完整，然后整理所有的语法，并把语法抽象成计算机语言。

 

20世纪50年代，人类开始研究NLP，到70年代引入统计学后进步巨大，但在之后的大约20年，开始停滞不前了。

 

直到2010年左右，伴随深度学习的发展，NLP与神经网络可以处理更广泛的上下文内容。到2018年，预训练的语言模型可有效改进许多NLP任务。经过成长的烦恼，NLP不仅具备分词这种“咿呀学语”的能力，更是能智能作诗、出口成章。

 

如今，“初出茅庐”的NLP已经开始进入家居、车载、金融、医疗、教育等众多领域。

 

不懂语言，出国游一样说走就走

 

最能体现NLP的是机器语言翻译。

 

当前，出境游越来越火，在出境入境、寻址问路、购物点餐等即时性沟通场景中，怎么能消除语言障碍？

 

比如百度推出了智能Wi-Fi翻译机，基于百度语音识别合成及神经网络翻译等人工智能技术，可以在中英、中日等全球28种热门语言之间互译，自动识别语种，而且一键就搞定。

 

同时，与语音、视觉等人工智能技术结合的多模翻译也取得了一系列进展，智能翻译机、自动同传、AR翻译等创新产品的出现，进一步提升了用户体验，扩展了应用场景。

 

现在，百度翻译日均实时响应超过千亿字符的翻译请求，通过开放API，支持超过20万家第三方企业接入百度翻译API，帮助越来越多的用户跨越语言鸿沟。

 

阅读理解，让机器回答你的问题

 

让机器开始理解你的最佳场景就是“阅读理解”。

 

阅读理解可以让机器像人类一样，能持续对海量文本进行阅读和知识积累，从而不断提升机器的智能水平，更好进行文本理解与问答。

 

希望日后，AI阅读在特定场景的“跑分”超越人类后，都选“C”的“做题法宝”就会被抛弃。

 

比如：在各种软件下载的“用户协议”中，你不用傻傻地点击“我同意”，AI阅读理解技术会帮你。

 

在办公领域，AI阅读理解技术可以快速处理个人的邮件或者文档。

 

今年，百度自然语言处理团队拿下了微软MS MARCO机器阅读理解测试首名。你在使用百度地图语音助手导航时，长达60字的问询对它来说也是毫无压力的。

 

这意味着，客服机器人正越来越理解你的需求，可以使用机器阅读用户手册或商品描述，自动辅助客服来回答用户的问题，达到“能理解会思考”的终极目标。

 

让你的产品更了解这个世界

 

百度的智能春联，不仅成为AI拜年神器，还颠覆了人们对机器智能写作的看法。在创作春联上，计算机才华横溢，你可以调用这类API，直接让计算机唱首你爱听的歌曲。

 

而在数字沉浸体验展中的小度机器人不仅可以信手拈来传统文化故事，还能入乡随俗地学会拜个年、讨要压岁钱等有趣的春节习俗，这背后则是人机对话技术，其以NLP技术为基础，有机融合语言理解、语言生成、语音处理、机器学习，以及规划推理等重要技术。

 

当今，NLP进步的动力在于真实的应用场景正在不断出现。

 

小度在家不仅能够回答你的问题，还能进一步延伸到其他相关领域，甚至主动推荐游戏、新闻等，像真正的朋友一样与人类进行持续交流。

 

在企业客服方面，百度云有成熟的智能客服解决方案——百度云ABC智能客服是在大规模知识处理基础上发展起来的一项面向行业应用的，适用大规模知识处理、自然语言理解、知识管理、自动问答、推理等应用场景的解决方案，智能客服不仅为企业提供细粒度知识管理技术，还为企业与海量用户之间建立一种基于自然语言沟通技术的快捷有效的沟通手段，同时还能够为企业提供精细化管理所需的统计分析信息。

 

同时，基于百度医疗大数据，使用深度学习技术与知识图谱算法，百度医疗大脑正在提供智能问诊服务，与就医人员进行多轮自动智能对话。

 

经过十余年积累与沉淀，百度在NLP领域已然初长成少年，处于最好的时光，不仅专注于前瞻技术探索，更致力通过技术应用解决实际问题。百度云正在将这种综合能力应用到各类行业的具体场景中。

 

除了像上述的智能春联写作、智能客服之外，百度云的NLP已经在相似内容推荐、评论聚合等场景深度应用，助力你的产品更好的理解这个世界，为客户创造更多价值。