本周AI的行业，我们都在谈论AI的商业道德后果。如果一个系统是培养自己在不道德的或法律上应受指责的方式行事，它可以采取诸如过滤或关于种族或性别作出有关决定的人的行动。
当机器学习被集成到技术产品中时，机器学习系统会使公司面临财务和法律风险吗?
我们本周的嘉宾、总部位于纽约的CA Technologies的首席技术官奥托•贝尔克斯(Otto Berkes)向我们讲述了领导者需要考虑的技术规划和测试过程中的现实变化。我们讨论了企业如何将机器学习集成到产品和服务中，同时还能保护自己免受潜在的法律不利影响。
奥托·伯克斯(Otto Berkes)和丹·费格拉(Dan Faggella)都将在名为“人工智能与商业道德:朋友还是敌人?”， 9月19日摄于美国圣母大学门多萨商学院。在这里了解更多的事件。
订阅我们的人工智能产业播客用你喜欢的播客服务：
客人：奥托·伯克执行副总裁兼首席技术官，CA Technologies的
专业知识:技术愿景、战略研究、云计算、移动技术、软件开发
介绍识别：作为CA Technologies的首席技术官，奥托贝尔克斯负责技术领先和创新，以及确保公司的软件战略，架构和合作伙伴关系排列为客户提供价值。
他25年的行业经验涵盖了移动计算的先驱和基于触摸的技术和设计的发展。在CA之前，Otto在HBO担任CTO。
在微软工作的前18年里，奥托是Xbox和Windows NT操作系统的领导者之一。在现代GPU的早期，他领导了微软的OpenGL和DirectX图形开发小组。他还担任Autodesk的高级开发人员，为AutoCAD的第一个基于windows的版本编写图形引擎和用户界面。
奥托在佛蒙特州米德尔伯里学院获得了物理学学士学位，在佛蒙特大学获得了计算机科学和电子工程硕士学位。他是联合发明人，拥有多项专利，涉及设计、移动设备交互和核心计算技术。
采访中强调了
Daniel Faggella:人们对软件的道德规范并没有太多的担忧，那么人工智能和人工智能有什么区别呢?为什么商业领袖现在要关心这个问题呢?除了工作自动化，什么才是真正重要的?
奥托·伯克:算法和程序是如何构建的，以及我们如何看待使用机器学习和机器智能算法的程序，这两者之间存在着真正的区别。以前，您可以硬连接到软件程序和算法，但它们是可发现的，而源代码正在编写。
现在我们有改变自己的行为，随着时间的推移或可能有行为时没有预料到一定的条件下提出的，其仅发现的系统。我会说这是机器学习和机器智能系统和他们的方式，我们并不预期产生很大的差别时间改过来的能力的不确定性特点。
It[机器学习]是他们的黑盒子或进化的本质。如果你用系统来设计它，就像一组按钮，让人们倾向于采取某些行动，你只需要重新设计它，以及它是如何工作的。有了机器学习，无论是推荐引擎还是欺诈检测系统，你现在或将来都不会有这种安全性。
OB:这可以归结为可解释性，以及你的智能代理是如何给出答案的。使用硬连接算法，您可以查看代码并确切地知道如何得到答案。对于智能系统，解释答案是一个非常不同的过程。
DF:有哪些黑箱或机器学习场景可能会造成法律和财务风险?
OB:一个例子是在人力资源领域。我们看到报销工具开始使用机器学习和机器智能算法来提高效率，并可能防止滥用。但是，也有可能不公正地将某些并非有意为之的人排除在外。它使，而不必考虑上下文的大局观统计的决定。
DF：那怎么人力的偏见和成见来的。你如何保持机器作出这些偏见，即使数据显示呢？
OB:我们必须牢记，人类可以在确保结果公平和道德的过程有关。这里有一个数据的科学成分。学习算法的好坏，因为他们摄取的数据的质量。因此，请确保数据本身是人的身体还是有一定的问题的公平代表性。这些系统的主动监测可以确保它们按计划进行，并检测，没有预料或不能代表所期望的结果异常行为。
DF:我想人力资源系统是定期测试的。它被灌输了大量关于不同类型的人的数据。这些妥协的方式在法律上是不可接受的吗?我们是否可以通过假设和策略来决定哪些数据不应该包含在系统中?
OB:它实际上是两者兼而有之。您提出了一个很好的观点:测试。我们在严格意义上考虑了测试，因为它是与确定性硬件连接算法相关联的。现在，我们必须重新思考测试意味着什么。当算法本身动态地改变它们自己的行为时，测试本身也必须改变和重新思考。你关于数据清理的观点是正确的。要靠人类来理解某些数据是如何将偏见注入系统的。
DF:你说测试需要重新考虑。你认为其他cto应该考虑并采取什么行动?
OB:在这个新的世界中，测试将返回到数据，以确保您拥有正确的机制来获取正确的数据。如果没有已知的数据池，就无法对算法进行压力测试。
另一件需要记住的事情是，这些系统的行为会随着时间而改变。测试应该能够跟踪这些机器学习算法产生的答案的变化。您不可能及时测试系统的快照并拥有100%的信心。您必须使用数据密集型的方法跟踪系统随时间的行为，以便您能够识别偏移，以查看是否出现了一些偏差。
DF:我可以想象一个正在进行的过程，将新的样本输入机器并得到响应。我们有一个系统来测试一些可能存在法律风险或不道德的东西吗?
OB:绝对的。不公正地针对某一类人而造成的潜在声誉损害，例如在支付安全或支付欺诈相关的应用程序，可能是一团糟。这是整个行业需要防范的。这是一个持续的挑战。你不能仅仅满足于一个给定的解决方案，并假设它是可接受的。一个月或一年以后。我们需要发展这些解决方案，以领先于意想不到的后果。
DF:我设想在未来，所有以机器学习为基础的产品都有一个正在进行的过程，在这个过程中，以编程方式生成样本，并将其输入操作系统之外，以测试决策过程对该产品已知的法律和伦理风险的影响。你看到的是同样的未来还是不同的未来?
OB:这是绝对正确的，而且始终保持隐私。具有讽刺意味的是，你拥有的数据越多，你在拥有一组有代表性的数据时就越精确，但你侵犯他人隐私的风险就越大。
我们的一个研究项目就是解决这个问题。在一个非常简单的层面上，它将噪音注入到匿名化人们身份的个人数据中，同时仍然保留有价值的信息来帮助智能系统编程。
你提出了两个关于极地的问题。我们拥有最大数量和粒度的数据，因此我们可以对尽可能多的功能进行培训，并为业务交付最佳结果。另一方面，我们有隐私和安全问题。考虑到平衡和正在进行的测试，以防止法律和道德风险可能是首席技术官在不久的将来的角色的一部分。
OB:这需要我们重新思考什么隐私，偏见和安全平均值。如何用心良苦智能系统可以有巨大的，意想不到的后果给企业。
DF：是否有可能有“不可接受的数据”，可以帮助机器做出更好的决策，即使它是社会粗鲁，它可以理所当然公司将其隐藏。企业将如何得到解决的？
OB:一方面，我想在这里扔是其中一台机器学习算法是简单地对一个人做出决定，还是机器本身使得无需人工干预决定一个数据点的程度。这就是我们要画一个很细的线。
让我们假设数据进入系统，生成a建议包括它投票反对申请贷款的人的原因。该机将使人类能够基于周围每一个人更全面的背景下，机器没有做出决定。
DF:我们能否建立一个可解释的系统，它可以收集所有的数据，评估各种考虑，提出建议，并允许人们使用他们的判断来做决定?对于需要道德责任的棘手领域，我们是否可以在最后阶段安排一个人?
OB:说得很好。我们有一个关于可解释人工智能的研究项目。在一些可能比较棘手的例子中，机器必须解释它是如何得到答案的。
DF:业务和技术领导人将会考虑:在这些应用程序中是否有一些决策的基础?或者产生的结果是道德上的、法律上的还是财务上的风险?他们能想出培训和测试这些系统的方法来预防这些风险吗?
OB:它是强大的技术。强大的硬件和能力的融合来实现这些软件的学习算法有很大的潜力。但责任是我们的，人类，监督和监视和发展这些系统，使他们未来的积极作用。
订阅我们的人工智能产业播客用你喜欢的播客服务：
这篇文章由圣母大学赞助，与我们透明的Emerj一起编写、编辑和发表赞助内容指南。了解更多关于到达我们的ai集中执行观众的信息Emerj广告页面。
标题图片来源：图书商业杂志
