文档搜索和数据挖掘的银行 - 自然语言处理能力

拉哈夫巴拉德瓦
头像

Raghav是Emerj的分析师,涵盖主要行业更新的AI趋势,并进行定性和定量研究。他曾在Frost & Sullivan和Infiniti Research工作。

文档搜索和数据挖掘的银行 - 自然语言处理能力

这篇文章最初写成由铁山赞助的深入AI报告的一部分,并撰写,编辑和出版对准我们的透明Emerj赞助内容指南。了解更多关于我们的思想领导和内容创造服务思想领导服务页面

银行和其他金融机构似乎正在采用从业务流程自动化到人工智能的应用程序信用评分。从历史上看,银行会收集资金海量的数据记录,甚至一些比较传统的银行往往有需要的AI项目的资源。有效地浏览浩瀚的数据存储,以获得宝贵的商业见解涉及理解AI在银行业信息搜索和发现应用程序的功能。

最早的应用之一文本挖掘银行是汇款信息的自动处理(ATRANS)的发展。该系统可以从电传消息,这是银行间发送,以确认汇款提取预定义的模板信息。

电传电文的内容高度可预测,而标准化的格式使ATRANS成为一个成功的系统。人工智能并不是解决当今银行所面临挑战的灵丹妙药。相反,商业领袖可以将it视为一种工具,帮助他们找到改善数据中已经存在的结果的方法。人工智能软件的好坏取决于它所消耗的数据。

自然语言处理文本/数据挖掘应用程序是基于现有软件库和已建立的用例开发的。以英语以外的语言收集数据的国际银行可能也会发现很难开发能够直接理解当地语言背景文件的NLP软件。

例如。事实上,目前有英语更NLP库比德国可能迫使德国银行采取任何建设AI应用程序之前转换其文件为英语的额外步骤。

一个金融安全局的报告这似乎表明NLP和机器学习可以应用于银行业的几个应用,如面向客户的银行聊天机器人和信用评分。

数据搜索和信息发现通常包括几个步骤,即使在数据已经被组织和收集之后。NLP和机器学习可以用来创建所有内部文档的可搜索索引。索引后,数据可以通过一个接口进行搜索。搜索界面可以提供基本的搜索选项,例如布尔(和/或/不是)、分段、数值范围,或者高级搜索选项,其中可能包括自然语言搜索、模糊搜索和概念搜索。

驾驶机器的进步在搜索引擎中学习同样的工具在银行业被采用。例如,类似于那些在搜索引擎中使用实体识别工具现在被用于识别新闻和社交媒体对话相关的公开上市公司。随着越来越多的企业采用NLP和机器学习方法,以获得额外的数据的动机可能银行之间增加。

Giacomo Domeniconi他是IBM Watson TJ研究中心的博士后研究员,也是纽约大学“高性能机器学习”课程的兼职教授,他认为搜索工具在不久的将来可能会变得更好:

能够从结构化和非结构化数据中上下文检索信息的搜索工具可能离现在不远了。这在银行业等行业可能尤其正确,因为在这些行业中,公司有足够的经济资源从结构化和非结构化数据中收集信息。

基于自然语言处理的文档搜索和数据挖掘软件是看似最有用的三个应用程序:

  • 抵押贷款
  • 信用评分
  • 产品开发

抵押贷款

铁山公司的人工智能和数据科学专家表示,数据搜索和发现可以帮助银行自动化抵押贷款管理的某些操作。有证据表明,银行正在通过表单(hud1、税务表单和贷款申请)进行结构化数据捕获。也就是说,非结构化文档,如pdf、音频文件、视频文件和手写笔记,仍然占抵押贷款行业所有文档的80%。

银行可以使用AI从结构化,半结构化的提取信息和非结构化的文档。结构化文档通常是更容易输入到准备机器学习软件。非结构化的文档可以采用先进的光学字符识别(OCR)或数字化计算机视觉。然后,银行可以对提取的文本数据应用NLP技术,并从它们收集的所有不同类型的数据中获得洞察。下面是一个从Axis AI中搜索文档的例子:

Axis AI的文档搜索软件
Axis AI的文档搜索软件

半结构化的文档,如发票和闭幕发言,有一个是结构化的部分和其他人甚至可能是手写的。AI软件可以帮助数字化和组织,银行可能会考虑从这些文件中的关键信息。

对于文档成像来说,非结构化文档是最大的挑战,因为银行为了训练机器学习模型而需要提取的元数据是自由形式的,可能是一个文档中的句子、段落或整个页面。

Radim Rehurek,谁从马萨里克大学布尔诺获得了计算机科学博士学位,并成立RARE技术,指出:

过去,银行或保险行业的许多内部工作流都要处理某种形式的手工数据输入。这些内部文档的很大一部分通常也是非结构化文档,比如pdf、手写笔记、音频或视频文件。

在抵押贷款领域,使用人工智能软件的自动文件处理可能是一个唾手可得的应用程序。抵押贷款部门的公司会发现,这种自动化可能会帮助他们降低人力成本,包括任何数据输入培训成本。

NLP和机器学习还可以帮助银行加快贷款和抵押贷款申请的处理,特别是对大型银行与进入的形式卷。规模使得使用人工智能软件,而不是将需要手动审查这些文件人类人员非常有利可图。AI可以帮助银行分析抵押贷款申请,看看是否形式缺少任何信息,并立即发送同样的顾客的要求。这可能使审查人员避开有基本的问题(如丢失的信息),并只处理涉及更复杂的问题的情况下应用。

用于自动获取数据的人工智能软件还可能帮助银行减少人为错误,并以人类无法匹敌的规模进行操作。一旦所有的文件被扫描,数据被捕获和组织,抵押贷款公司可以创建一个前端搜索界面,让员工能够访问他们需要的信息和文件,以作出战略性的商业决策。

也就是说,训练这些算法需要大量的数据,而每周交易少于100笔的中小型抵押操作可能会发现,他们可能无法满足训练一个AI模型的数据需求。

AI在抵押贷款信息搜索和发现可能是每周超过500交易大抵押贷款业务最有用的。这样的公司有可能捕获网页,word文档,电子邮件和其他形式的结构化文本的数据,使其对员工访问。

信用评分

银行业中基于人工智能的数据搜索和发现的另一个突出应用是贷款信用评分。贷款的价值直接与银行认为个人或企业拖欠贷款的可能性有关。信用评分是贷款过程中的一个关键部分,因为它可以帮助银行通过访问客户数据来识别违约的可能性,这些数据包括信用记录、社交媒体帖子,在某些情况下,还包括个人的整个数字足迹。

这个数据浩瀚使得它几乎不可能通过人的分析师梳理和确定客户违约的概率高。NLP和机器学习可以帮助银行通过抓取数字足迹数据,如社交媒体帖子,互联网浏览数据,地理位置,以及其他智能手机,获取的信息,生成信用分数为每个客户。

大多数信用评分模型在历史上一直根据客户与银行之间的交易和付款记录。但银行似乎越来越多地转向非结构化和半结构化数据源捕捉信用的更细致入微的观点,提高信用评分的准确性。

一些AI厂商,如Lenddo和ZestFinance,已经提供银行客户信用评分解决方案。这些厂商的价值主张似乎是围绕加快贷款决策和过程,同时控制风险。下面是流程图,显示哪些类型的数据Lenddo的要求来收集他们的得分溶液:

Lenddo的信用评分和审批流程
Lenddo的信用评分和批准程序

也就是说,根据金融安全委员会的说法,基于机器学习的信用评分模型在评估信用价值方面远远超过传统软件,这一点尚未得到证明。

产品开发

银行有通过社交媒体对话,电子邮件,电话和网站的形式,填充收集来自客户互动数据几个通道。随着所收集的大量数据有关银行客户,搜索和发现AI的其他广泛的应用似乎是定制产品,以改善客户互动。

我们采访阿德南·马苏德他在诺瓦东南大学(Nova Southeastern University)获得了机器学习博士学位,是科大全球(UST Global)人工智能和机器学习的首席架构师。马苏德也是斯坦福人工智能实验室和麻省理工人工智能实验室的访问学者。

AI驱动的数据搜索和发现主要是帮助理解的意图。消费者可能会寻找一个特定的基金,信用卡,贷款,一个ETF,或检查的健康和现有产品的进步。认知搜索提供了通过整合的好恶,生活事件和交易记录,提供上下文相关的结果,其在生活和需求的特定阶段适应这些人的产品更丰富的体验。

马苏德表示,人工智能数据搜索和发现工具有助于为定制产品开发制定这些建议。大型银行正在探索“一段一段”金融产品的可能性,这种产品包括跟踪和理解单个客户行为的能力。

在银行业,客户的互动和意见通常非常明确,很少是中立的。更多的时候,客户的评价是高度肯定或高度否定的。来自客户的负面评价通常也比正面评价要长得多。大型银行从多个渠道收集大量客户信息,需要一种方法来个性化银行体验。

通过分析聊天机器人、客户反馈表格、社交媒体页面和交易历史,银行可能会更快更准确地发现客户的意图。例如,苏格兰皇家银行(RBS)称,他们使用NLP文本挖掘技术来提取客户的反馈趋势。据苏格兰皇家银行,他们部署了AI软件,可以摄取来自客户的电子邮件,问卷调查和呼叫中心交谈数据,以确定哪些问题影响他们的客户最多。

马苏德还提供了个人轶事方面:

一家大型金融机构在澳大利亚的人,我紧密合作,已申请的认知能力,包括NLU / NLP,以提供各种消费类的分类自然语言搜索......这得到各地的数据组织的金融机构可以使用该信息进行投资为客户创造更好的体验和回报。

银行也可以有效地使用搜索和发现AI软件到他们的客户提供他们与银行交互的完整视图,当谈到自己的账户,分享存款和保险合同。

通过基于人工智能的搜索和发现,银行可以发现客户将大部分资金花在了哪里,从而开启潜在的交叉销售机会。银行业面对客户方面的规模之大,使得人力团队几乎不可能对所有数据进行筛选。

银行业的商业领袖应该知道什么

由于大量数据的可用性和大型跨国公司有资源来实现新的用例,银行业人工智能的数据搜索和发现应用正在迅速出现。

人工智能搜索和发现可能会使银行的重复性任务自动化,并改善前端的销售和客户服务流程。

在本报告中讨论的所有应用程序,信用评分似乎有最牵引。几个AI厂商提供信用评分解决方案的银行。AI已经使人们有可能通过让银行和金融机构,分析他们的整个数字足迹来生成自己的信用评分获得的客户违约风险有了更深的了解。

这也使得人力贷款人员能够从结构化和非结构化文档中搜索和检索与案例相关的数据。因此,信贷员可以更快更准确地审查申请。

历史数据在一系列银行的客户和产品的可用性将决定这种AI实现的成功。

标题图片来源:E-SPIN

艾曲线保持领先

发现未来商业中区分赢家和输家的关键人工智能趋势和应用。

订阅“AI优势”简报:

" data-trigger="manual" data-title="Notice" data-placement="bottom" data-content="Thanks - Check your email and open our welcome email to confirm your email address with Emerj">
" data-trigger="manual" data-title="Notice" data-placement="bottom" data-content="Error - There was some problem.">
订阅
subscribe-image
关键AI的分析资料银行业

加入数以千计的AI-关注银行的领导人,并获得AI使用情况在银行,保险和金融的见解:

感谢您订阅的Emerj“AI优势”的通讯,检查你的电子邮件收件箱进行确认。