自然语言处理-商业应用

马可Lagi的
《阿凡达》

马尔科Lagi的持有萨皮恩扎在罗马的博士学位,在麻省理工学院的博士后研究员。他在机器学习和自然语言处理的复杂系统和物理科学丰富的研究背景,以及丰富的专业知识。他是一位技术顾问Emerj。

自然语言处理-商业应用

高管担心自己的业务。

他们经常浏览,资源有限,一个风雨交加的市场上取得的客户,竞争对手和监管者,而所有这些角色之间的交互使查找业务问题的答案一个复杂的过程。

但最近,机器已经证明了自己的能力,以帮助油光光的一些在这混乱和提供,如果没有直接回答,上下文线索,帮助指导使用高管AI处理业务问题

在这篇文章中,我们深入研究如何自然语言处理(NLP)的业务应用程序可以在规模应用到地址5紧迫的业务问题的例子。

五NLP业务应用

1 - 客户服务:“我怎样才能让我的客户高兴吗?”

NLP所使用的电脑操纵人类的语言,是否提取的意思,生成文本,或用于任何其他目的。总结一个长文档中,两个人的语言之间的翻译,或者检测垃圾邮件的,今天可以由机器体面完成的任务的所有实例:交互计算机语言根据任务需要完成分类。

虽然这在30年前是没有的情况下,今天最NLP是基于机器学习即是能够模拟什么人会在同样情况下做的统计方法。

NLP是在客户服务方面大量使用。客户和公司之间的相互作用包含了许多有益的面包屑朝原因顾客不满这一点,和交互本身可能是不满的原因。

为了把握消费者意图的脉搏,许多公司现在转录并分析客户的电话录音。他们还部署聊天机器人和自动在线助理以提供简单的需求即时响应,并减少对客户服务代表的负载。有关NLP任务包括:

  • 语音识别,将口语转换成文本。在过去的10年里,深度学习的进步使得主要的玩家能够将这项技术应用到商业系统中,比如Siri,谷歌Now, Skype的翻译等等。
  • 问题回答其中包括用自然语言回答人类提出的问题。2011年,IBM的沃森(Watson)在《危险边缘》(Jeopardy!)肯·詹宁斯(Ken Jennings)在他的视频屏幕上写道:“就我而言,我欢迎我们新的电脑霸主。这项任务对这台机器来说尤其困难,因为这款游戏以其关于常识的复杂且往往不透明的问题而闻名。如今,许多公司都将类似的技术用于聊天机器人,包括内部(人力资源、运营)和外部(客户服务、物联网)项目。

2 - 口碑监测:“人们怎么说我?”

在20世纪80年代,公司开始使用软件在他们自己的数据中寻找模式并做出更好的决策。供应链、库存和仓库、销售流程和许多其他应用程序的优化产生了我们现在所说的商业智能。但是公司内部的东西远不如外部的东西有价值。

随着计算成本的不断下降和算法的不断改进,企业开始采用一些工具,使它们能够超越数据库。这类数据通常称为外部数据、公共数据或公开来源情报(OSINT)

虽然某些数据的结构,并准备进行分析(例如人口普查数据,股票价格),它的大部分价值遗体非结构化,人类产生的文本挖掘等新闻;博客文章;论坛;专利;招聘信息;报告;SEC文件;社交媒体;公司网站;等等,这些来源包括珍贵的信息有关如何竞争对手,客户和市场作为一个整体正在不断发展过多。

怎么这种数据可用于一个例子是口碑监测。这已经不是什么秘密,大多数客户在网上查的评论在购买产品之前,无论是手机或沙拉三明治。根据最近的调查BrightLocal,客户的92%的阅读在线评论和86%不会买一个产品,只有不到3,满分5星。

而作为消费者已经开始表达自己的Twitter和Facebook的投诉,声誉监测和管理已成为企业的头等大事。公司现在可以扫描整个网络为他们提到的品牌和产品,并认识到案件的时候就应该采取行动。

此应用程序相关的NLP任务包括:

  • 情感分析它决定了作者的态度、情感状态、判断或意图。这可以通过给文本分配一个极性(积极的、中性的或消极的),或者尝试识别潜在的情绪(快乐、悲伤、平静、愤怒……)来实现。那么在同一句话中需要考虑多种态度的时候呢?例如,“披萨很好吃,但是服务员很糟糕!”

在上面的例子中,文本被分成若干子句,并对每个子句的极性和语气进行评估。所以,之前的文本变成了:

{“条款”:“比萨是惊人的”,
“极性”:0.92,
“情绪”:“快乐”},

{“条款”:“但服务员太可怕了!”
“极”:-0.95,
“情绪”:“愤怒”}

  • 指代消解,这代词连接到正确的对象。这是一项艰巨的任务,但要正确地解释文本是必不可少的。例如,如果一个客户写道:“从打电话来问我是否喜欢我的新汽车经销商一个家伙。好了,没有人,它吸收?它‘指的是车而不是人”,认识到这一点很重要。’客户抱怨的产品,而不是服务。作为伊隆·马斯克说,“品牌是只是一种感觉。”现在,你的客户都在谈论你,影响的方式与其它消费者认为你的品牌。NLP可以帮助你留在你的最战壕声誉的顶部。

3 - 广告展示位置:“有兴趣在我的产品?”

媒体购买通常是公司广告预算中最大的一项,因此任何能够确保广告被正确地呈现在观众面前的目标定位都是至关重要的。过去,市场营销人员关注的是人口统计(种族、经济地位、性别、年龄等)和心理图形(价值观、个性、态度、观点等),但他们很快就适应了新的数字领域。

Our emails, social media, e-commerce and browsing behaviors contain a lot of information about what we’re really interested in. The huge potential of this kind of unstructured data is confirmed by the fact that 2 of the 10 largest companies today generate most of their revenue selling ads (Google and Facebook). Relevant NLP tasks for this application include:

  • 关键字匹配,检查某些文本中是否包含感兴趣的单词。这是NLP中最简单的任务之一,同时也是报酬最高的任务之一。虽然第一个近似通常足够好,但是它的不成熟会产生非常不合适的结果。
  • 消歧或识别一个词在句子中使用的意义。虽然人类的大脑在这方面做得很好,但计算机不一定能轻易识别出句子中的磅这个词,“我从婚礼那天起长了20磅!”,很可能指的是质量单位,而不是货币。这在NLP中仍然是一个开放的问题。

4 -市场情报:“我的竞争对手怎么了?”

市场是由信息交换的影响 - 公司/股东,政府/公民或只是个人之间。了解一个行业的现状是制定有效的战略至关重要,但内容分发的今日频道(RSS Feed,社交媒体,电子邮件),生产这么多的信息,它之所以成为很难跟上。

这是金融市场尤其如此,这是为什么对冲基金经常使用NLP提高自己的车型。此应用程序相关的NLP任务包括:

  • 事件提取,其中确认发生了什么的实体。并购,就业的变化,交易关闭和其他一切发生的个人或组织可以自动提取。例如,“霍华德·舒尔茨辞去星巴克CEO”可以解析为:

{“公司”:“星巴克”,
“位置”:“CEO”,
“人”:“霍华德·舒尔茨”
“事件”:“终止聘用”}

关于公司,政府和人民的事件的结构化数据库用于分析的商业生态系统一个非常强大的工具。

  • 句子分类,或将一个句子中的一组预定义桶。这是经常被用来作为第一阶段,从大型资料库提取相关的内容,如美国证券交易委员会的EDGAR系统。例如,“我们预计收入增长了15%,明年,”可以被归类为前瞻性陈述。

5 -法规遵从性:“是我公司产品一个责任?”

合规性的一个重要的例子是药物警戒即后一个药已在市场上销售(临床试验阶段IV)收集关于其副作用信息所做的研究。在什么所谓的非结构化临床叙述,或患者对自己的健康报告了很多关于药物不良事件(ADE的)之类的信息。

制药公司提取1的ADE)电子健康记录(电子病历),社交媒体和论坛为患者抱怨的一个问题,和2)寻找一个解决方案的病人网页搜索趋势和模式。此应用程序相关的NLP任务包括:

  • 指定实体识别(NER),其提取的药物,疾病,患者和制药公司使用基于规则或统计方法的名称。应用NER一个句子就可以将其从,转换“安定让我昏昏欲睡,”到“{}毒品让我{}症状。”
  • 关系检测,用于标识在其中ADE提及的上下文。这通常是与框架或单词的模式,对应于概念,例如进行“我觉得{症状}服用药物{}后”是一个匹配的副作用的存在模式。

通过连续应用这两个任务,我们已经确定了患者连接药物安定的副作用昏昏欲睡。这两种任务受益于使用本体即结构域知识(在这种情况下生物医学),其提供对象字典和对象之间的关系。

什么是商业智能的AI未来

在过去的10年里,公司已经能够雕刻最有前途的NLP的商业应用进行学术研究,并利用它们来提高他们的商业智能。在NLP的市场规模,这是今天7.5B $,预计到2021年将增长到$ 16B。

尽管如此,计算机仍不能像人类那样处理或理解文本,至少目前还不能。

正如前面提到的,大多数的NLP采用的方法本质上是统计,统计只能走这么远没有上下文或语义。该应用程序背后的算法,上述模拟人类的理解描述,并且能够做到这一点的规模,但他们仍然在他们无法模仿他们以前没有见过的行为脆。

例如,每一个Siri的尝试回答这个问题还没有被编程为响应一个问题的时候,它悲惨的失败了,它会继续失败,直到苹果公司的工程师实现修复。

这一领域的未来是来自移动NLP自然语言理解(NLU),在那里建立了关于世界传达的概念和事实之间更深的联系。在人工智能,这被认为是AI难问题:要解决,电脑必须是智能的人。

但是,尽管未来仍在进行中,目前的NLP技术仍然可以为企业提供有用的有限问题的答案。

图片来源:ExpertSystem.com

艾曲线保持领先

发现关键的人工智能趋势和应用程序,在未来的业务中区分赢家和输家。

订阅“AI优势”简报:

" data-trigger="manual" data-title="Notice" data-placement="bottom" data-content="Thanks - Check your email and open our welcome email to confirm your email address with Emerj">
" data-trigger="manual" data-title="Notice" data-placement="bottom" data-content="Error - There was some problem.">
订阅
订阅图像
机器学习曲线保持领先

在Emerj,我们拥有最大的关注人工智能的在线商务读者群体——加入其他行业领袖的行列,每周收到我们发送到您收件箱的最新人工智能研究、趋势分析和访谈。

感谢您订阅了Emerj“AI Advantage”时事通讯,请检查您的电子邮件收件箱以进行确认。