我们与CEO和Groq，人工智能硬件公司的创始人乔纳森罗斯，说话的时候，有关软件定义的计算。这次采访是一个系列中，我们在合作与Kisaco做研究的一部分人工智能硬件峰会在发生的加州山景城9月17日和18。
软件定义的计算是一种思维如何计算可以被优化的方式机器学习功能。罗斯谈论了一些利弊GPU软件定义计算机可能会在未来的机器学习应用中得到应用。
订阅我们人工智能产业播客你最喜欢的播客服务:
专长：AI硬件
介绍识别：在创立Groq，罗斯是一名硬件工程师，并在谷歌，他在那里工作了四年半张量处理单元的联合创始人。
采访中强调了
（02:30）你能定义软件定义的计算？
乔纳森·罗斯:确定。而感谢要求。单词“软件定义”已经使用了一下硬件，特别是网络。最近它已经被多家不同的公司用来描述他们与加速器做什么。和他们谈这个的原因是有一个概念，当你正在构建定制ASIC机器学习，他们可能没有配置或者他们可能不可编程的那个。
为机器学习它的真正含义是特别的,因为它需要很长时间来建立一个芯片,两到三年,机器学习模型变化如此之快,通常你无法建立一个芯片尽快研究人员正在采用新的技术和新的机器学习模型。
所以为了能够制造出人们想要使用的东西，你必须让它非常灵活。所以软件定义的意思是你正在制作的设备能够适应未来的变化。
更进一步说，当新技术变得可用时，经常发生的一件事就是人们开始利用现有的东西。一个例子是人们习惯于使用非常稀疏的机器学习模型。他们会把它们部署到大量的服务器上，就像亚马逊和其他公司一样。
发生的事情是，当他们开始使用能够处理更密集的计算的设备时，我甚至不会去尝试去定义它，但最终发生的事情是人们开始使用更密集的计算。所以当涉及到软件定义时，这种灵活性的元素，你可以做你想做的，你可以采用这些新技术，你可以应用它们。但这也意味着，研究人员可以进行实验，看看他们能用这些设备做什么，然后自己想出办法。
例如，我们已经看到的GPU已经使用了很多机器学习。原因是他们有大量的计算密度。但他们的内存带宽是非常缓慢的，这一直是有点问题的。人们认为，这将阻止非常昂贵的机器学习模型从继续获得性能提升，你调整它们。
但实际情况是，研究人员开始采取额外的计算能力的优势。他们会做的是，他们将针对每个存储器存取做更多的计算。因此在灵活性方面，它不只是你能支持的事情是，ML研究人员在过去一直在做。这也是他们能够探索并更好地利用硬件，你给他们。
(06:00)在商业世界中，这个软件定义的概念是否比gpu更好?
JR:确定。我有一个很好的例子。我们正在开发的硬件的一个独特的特性是它利用了批处理大小为1的特性。也就是说，你还记得小时候玩的游戏" 20个问题"吗?
是啊。所以游戏的工作方式是你有20个问题。有人脑海中有个项目，一个人记住了，你问你在哪里得到肯定的问题或没有答案，直到你找出该项目是什么。
我说的是计算机的密度。目前硬件的一个限制是，要想很好地利用它，常常需要在同一时间对许多不同的输入运行相同的程序。想象你在街上开车，有三个停车标志。但是要获得真正好的性能，你必须在64个停止标志上运行才能识别它们并获得良好的性能。
所以，如果你只有三天，它的成本你一样，如果你有64那么，现在假设你正在玩游戏的20个问题，你有64个输入你试图去猜测。这些问题都需要非常复杂的，因为你没有猜这一个项目是什么，你猜是什么这64个项目。
其中一个这是关于我们正在构建的硬件和它的软件定义的硬件方面唯一的事情是，它没有内置任何特定的模式。您可以更改各种运行其上的模型，你可以分开破坏你的模型利用小批量的。
你可以一次只做一个项目，而不是同时做64个不同项目的20个问题的游戏，这让它更便宜。现在你问，它是动物、植物还是矿物?答案并不总是肯定的，因为你总是有动物，蔬菜和矿物质。
假设你正在为一个潜在的保险客户做决定。你将会有一些关于客户端的信息，但是如果你运行一个模型必须考虑关于客户端的每一个可能的信息，那么它将会是一个非常大的模型。但是如果你能看一下你所拥有的一点点信息，比如你实际拥有的关于客户的信息，然后选择一个适合这个问题的模型，它会变得更便宜，也更准确。
另一个例子是，如果你想造一辆自动驾驶汽车，你在路上行驶，你可能会认出某物是一棵树，或者你可能会认出某物是某种标志。你可能不知道这是一个停车标志。
当你能够在那个对象上运行一个非常特殊的模型时，对吧?场景中可能有200个物体，但有三个符号。它的意思是你可以在这三个符号上运行一个符号分类器它经过专门的训练来识别这些符号是什么。
你也可以想像的策略，当你试图做出预测。例如，方式是，AlphaGo样板工程。随着游戏的发展，实际上你可以使用不同的模型，或者如果您认为有几种不同的方式，游戏可以发展，可以使用几种不同的模式，有一些更积极的玩法，有的用一个不太积极的玩法。什么它确实是它可以让你仅仅尝试了一大堆在同一硬件上完全不同的事情，而无需定制硬件中，每个这些不同的东西。
(11点30分)你认为这是如何渗透到工业中的呢?是否有一些空间可以让这个概念被更紧密地掌握，被更快地接受?
JR:是啊。我们有CPU和GPU的很长一段时间，而这些人的可编程器件。我们也有其他类型，如FPJs的设备，这是可编程的，但不是真的，而事情的运行。这是困难得多。当它变得有趣的是机器学习。特别是，其原因是由于机器学习是这个开放的目标，人们不知道到底到哪里去土地。它变化太快了。
我们特别关注的是模型变化快的地方。所以如果你制造一个小型的消费设备，某种音频触发器，就像一个当你说话时打开你的门的设备，它不必变得越来越聪明。
但是，当你部署云的东西，或者在hyperscaler，或在自动车辆，因为没有人有什么那些机器学习模型将会是什么样的最终配方，他们需要能够更新他们做出改变。
此外，人们仍在寻找新用途，机器学习，因为它是这样一个新的领域。我们基本上看到的部分用例所有的地方，因为即使在那些地方，最终这东西会变硬，它会是固定的，现在没有人知道那将是什么样子。
如果你想知道机器学习在什么地方是有用的，只要看看那些做概率决策或困难决策的地方就行了。这与以往软件的工作方式大不相同。
问问你自己，你在哪里做出困难的决定？然后是机器学习做的另一件事是它给你这种能力，在这两种矛盾的东西在同一时间。它可以让你同时拥有可重复的性能，它可以让你有创造力。如果你有一台机器学习模型，你把它应用到一个问题，就会经常解决这个问题，但它可能会解决这个问题的方式，没有人认为这将解决。
(14:00)你认为软件定义计算是同样的创造能力的延伸吗?
JR:这是完全正确的。今天的机器学习研究人员提出了各种各样的想法。通常情况下，你会发现他们的想法受到了硬件的限制。gpu不是为机器学习而设计的。他们不介意，因为他们是并行的，他们可以做很多操作，但这不是你今天设计这样一个设备的方式。
所以，如果你看很多的机器学习模型，已经成为流行的，他们已经为今天的GPU的设计进行了优化。所以，当你有一个灵活的设备，你可以处理这些，但你也可以处理其他的东西，研究人员正在研究和实验用，并让他们自由地想出新的模型架构。
因为这些东西都变得非常固定在行业早期这是机器学习的初期尤为重要。因此，通过灵活性，使他们能够在实验前一切都被硬化和固定。
然后，这个对方说的有趣的是，从历史上看，有两种类型的产业或产品。这些，如果你让他们一定功能，，，他们是不够好。然后将这些那里只是为了更多的这种贪得无厌的渴求。计算绝对是一个贪得无厌的渴求。从来没有人在计算的历史说，“我有足够的计算。我很好。”
One of the interesting things is that we’re so early on and people are just now unlocking the ability to do tasks with machine learning that weren’t possible before that we’ve noticed every time there’s an improvement, every time the compute gets cheaper, every time the compute gets faster, every time the compute gets more energy efficient, people actually spend more, not less.
我相信，世界上大约7%的电力用于数据中心。就计算在世界范围内的发展和它的重要性而言，这是一个非常迅速的增长。
所以这是一种拐点我们在机器学习和每次提高时间的开始，人们想要更多。
(18:00)你认为像你们这样的公司最终会开始专注于特定的领域和空间吗?
JR:其中之一，我们致力于使这样的灵活设计的一个原因是，这也使得它更容易编程。从长远来看，我们的希望是，人们不会真正理解它的软件定义的计算之下。我们的想法是，如果你能适应硬件，你其实可以更容易地将其编程。事实上，我们开始与编译器。
我认为，就采用而言，行业中将要发生的事情是，首先要使用它的地方是那些需要绝对最优性能的地方，而现有的架构，gpu，无法满足这些要求。他们将能够通过调整硬件来适应他们想要做的事情来勉强完成游戏的最后一点。随着时间的推移，它会渗透到很多其他行业。
但它也很有趣，因为人们实际上在使用这个叫做auto ML的东西，它使用机器学习模型来设计机器学习模型。最近的结果，一个有效的网络，这是一个由模型训练的模型，优于所有人类设计的模型。
这意味着如果你有一个非常灵活的硬件，人们训练这些机器学习模型的方式或者他们生成模型的方式，它们的结构和形状，实际上可以更好地利用这些硬件。
自动ML很快就成为机器学习的规范。只是当它有能力重新配置硬件时，它有一个非常重要的优势。另一个有趣的地方是我们可以重新配置硬件当它运行得非常快的时候。这就允许了模型的训练，也允许了模型的运行，当硬件从执行的一个部分变成另一个部分的时候。一开始可能是这样，最后可能是另一种样子。
订阅我们人工智能产业播客你最喜欢的播客服务:
这篇文章由Kisaco Research赞助，并根据我们的《透明》杂志进行了写作、编辑和出版Emerj赞助内容指南。了解更多关于到达我们的ai集中执行观众的信息Emerj广告页面。
标题图片来源:Dqindia
