编者按:本文来自微信公众号“芯东西”(ID:aichip001),作者:心缘,36氪经授权发布。
芯东西3月19日报道,今天,英特尔公布其迄今为止最大规模神经拟态计算系统Pohoiki Springs,包含1亿个神经元!这一大小,堪比小型哺乳动物的大脑容量。
英特尔神经拟态计算实验室主任Mike Davies表示:“Pohoiki Springs将我们的Loihi神经拟态研究芯片扩展了750倍以上,同时可在低于500W的功率水平下工作。”
Loihi,一座夏威夷海底不断喷发的活火山,每一次喷发都会扩大夏威夷岛的范围。
三年前,英特尔以这座火山命名了其模拟大脑运行机制的新型神经拟态芯片。
这寄寓了英特尔对神经拟态计算的深切期望,希望它能像火山般通过不断自我学习拓展疆域,以超低功耗提供更强的人工智能能力。
如今,神经拟态计算已被普遍看作是解决人工智能等计算难题的重要路径。著名研究机构Gartner预测,到2025年,神经拟态芯片有望取代GPU,成为先进人工智能部署的主要计算架构。
与传统处理器相比,英特尔Loihi芯片速度快1000倍,能效高10000倍。
英特尔今天公布的Pohoiki Springs进一步扩展,将768颗Loihi神经拟态研究芯片集成在5台标准服务器大小的机箱中,形成了一个更强大的机架式数据中心系统。
▲数据中心机架式系统Pohoiki Springs
这一系统将提供给英特尔神经拟态研究社区(INRC)的成员,以扩展其神经拟态工作来解决更大规模且更复杂的问题。
从第一颗Loihi芯片诞生到如今发布最大神经拟态系统,英特尔神经拟态计算研究如何起步?
如今各种计算架构百家争鸣,英特尔神经拟态计算的技术特点是什么?它致力于解决哪些核心问题,又克服了哪些技术挑战?
同样是支持大规模运算任务的前沿计算技术,神经拟态系统与量子系统有哪些不同?
随着1亿个神经元的Pohoiki Springs系统问世,神经拟态计算发展到什么阶段?英特尔是否已有明确的商业计划?
今天早上,英特尔神经拟态计算实验室主任Mike Davies接受芯东西等媒体的线上采访,对上述问题进行一一解答。Mike全面解读了英特尔神经拟态计算的研究进展、技术特性、应用示例与所面临的商业化挑战。
Mike告诉我们,英特尔不打算做面向特定应用的专用芯片,而是希望能让神经拟态计算实现和冯·诺依曼架构相似的通用性。
“就我们而言,距离将产品推向市场,我们还将等待数年。”Mike说。
想想你是怎么认知事物的?大脑神经网络通过脉冲传递信息,根据脉冲时间调节突触强度或突触连接的权重,并把这些变化存储在突触连接处。
大脑神经网络与其环境中多区域之间相互作用,就产生了种种智能行为。它能同时学习语音任务、视觉任务、决策任务、操作控制等许多任务,并且仅仅消耗非常低的能量。
在自然界,很多昆虫大脑的神经元远低于100万个,就能做到实时视觉跟踪物体、导航和躲避障碍物。
那么在硬件层面上,能不能复制大脑神经元组织、通信和学习方式,打造出一种更智能的系统呢?
这种颠覆传统计算机架构的新型计算模式,就是神经拟态计算。
知易行难,要实现这一设想,需要经历漫长的研究。
英特尔在神经拟态计算领域的工作是基于几十年来的研究与合作。这项研究是由加州理工学院Carver Mead教授最先开始的,他以半导体设计的基础性工作而闻名。芯片专业知识、物理学和生物学的结合,为这一创想提供了可行的土壤。
Mike Davies是英特尔神经拟态计算实验室主任,他曾任职于Fulcrum Microsystems研发以太网交换机。
▲英特尔神经拟态计算实验室主任Mike Davies
近十年的工作令Mike获益颇丰,不过随着在工作中愈发游刃有余,一向酷爱登山、漂流、潜水、马拉松长跑等极限挑战的Mike,愈发渴望去探索与挑战新的科技极限。
转机发生在2011年,Fulcrum因实现了以太网交换机芯片异步设计研究的商业化而被英特尔收购,Mike因此加入英特尔。
“事实证明,异步设计真的非常适合神经拟态芯片。”英特尔研究院立即让Mike和团队开始相关工作,研究神经拟态原型架构、算法、软件和系统。
2017年,英特尔第一款自主学习神经拟态芯片Loihi问世。它采用14nm工艺,管芯尺寸60mm,包含超过20亿个晶体管、13万个神经元和1.28亿个突触。
“我们试图观察、学习和理解大脑的运行,并在计算机芯片上进行复制。”Mike这样解释自己的工作。
▲英特尔神经拟态芯片Loihi
和大脑相似,Loihi芯片将训练和推理整合到一个芯片上,实现了存储与计算的融合,拥有超级并行性能和异步信号传输能力,并支持多种学习模式的可扩展片上学习能力,即能够一边运作一边学习。
它采用一种新颖的“异步脉冲”方式来计算,就像大脑一样根据环境的反馈来自动学习如何操作,随着时间的推理,变得越来越智能、快速和高效。
同时,它也具有大脑般低功耗的特性,与训练人工智能系统的通用计算芯片相比,Loihi芯片的能效提升了1000倍。
怎么让Loihi芯片模拟大脑进行学习呢?Mike曾展示这样一个有趣的实验。
在Loihi芯片上运行简单的图像识别神经网络,就如幼儿探索未知事物一样,Loihi先通过“眼睛”看到物体,再输入物体的名称,这样它就能快速准确地辨别出这是什么东西。
研究人员将著名科学家罗莎琳·富兰克林造型的摇头娃娃作为训练工具,360度旋转,让Loihi全方位记住罗莎琳。训练一次后,Loihi便能在4秒内在一些有橡胶鸭子、玩具大象和摇头娃娃的图片中,快速辨别出罗莎琳摇头娃娃。而这个实验只用了Loihi不到1%的芯片资源。
▲Mike Davies手持科学家罗莎林·富兰克林造型的摇头娃娃,让Loihi芯片能快速学会识别它
这只是令人兴奋的小例子之一。随后,英特尔和INRC的研究人员还将Loihi芯片成功应用在实时识别手势、使用新型人造皮肤读取盲文、使用学习到的视觉地标来确定方向等多种任务中,所有这些功能仅仅消耗数十毫瓦的能量。
Mike告诉我们,神经拟态计算相较传统计算架构的一大优势不在于吞吐量,而在于超低延时。
尽管传统计算架构非常擅长调用大量数据并行,但它们得先积累所有数据样本,然后才能做计算处理。
神经拟态计算架构则不然,它可以几乎实时地从数据中学习、计算和产生答案,最终做出的预测可能比传统机器学习模型的预测更为准确。
数据中心就对低延时的需求非常大,例如一家购物网站的推荐系统,就要求在顾客购物时尽可能无延时的瞬间生成推荐。
此外,超低功耗也是神经拟态计算的亮点。“功率限制会影响计算系统的运营成本,因此降低功耗非常必要。”Mike说。
能耗是能源消耗是大规模AI部署的障碍,马萨诸塞大学大学的研究人员表示,开发一个单一的AI模型,可以产生相当于五辆美国普通汽车的终身碳排放量。
而神经拟态计算之所以能带来能效的提升,关键在于实现存储和计算的完全融合。这种存算一体的结构,最小化了数据传输的距离,节约了传统计算架构中处理单元和存储器间通信所消耗的时间和功耗。
那么同样都支持大规模运算任务,神经拟态系统和量子系统有怎样的区别?
Mike认为,两者的不同点在于正式使用的大体时间范围。
英特尔现在已经有了可使用的支持1亿神经元的神经拟态系统,但距离拥有1亿量子比特的计算系统还很遥远。
建立在叠加性质的量子系统拥有独特的优势,Mike表示,在某些任务中,它的理论可扩展性要超过神经拟态系统。
“但我们的特有优势是现在就可以用上,这是因为神经拟态系统和传统计算系统很像,都用到了硅,但量子系统需要本质上的创新和突破。”Mike说。
单芯片实验成功后,英特尔神经拟态研究持续产生新的研究进展。
一方面,英特尔在2018年3月建立英特尔神经拟态研究社区(INRC),汇集产学政界顶尖研究人员,使用Loihi芯片为研发活动的架构焦点,推动神经拟态算法、软件和应用程序的研发。
过去两年间,INRC的规模扩大逾两倍,现有超过90家组织,包括全球领先的大学、政府实验室、神经拟态类初创公司,埃森哲、空中客车、通用电气、日立等知名企业均已加入INRC。
有很多算法示例引起INRC成员们的兴趣,比如空中客车正在研究如何实现快速、低延时的恶意软件检测。
另一方面,英特尔在扩展神经拟态系统的道路上一往无前。
2018年12月,英特尔USB形状的神经拟态系统Kapoho Bay出场。该系统由2颗Loihi芯片、26.2万个神经元组成,并支持各种实时边缘工作负载。
2019年7月,英特尔推出神经拟态计算机Pohoiki Beach,包含64个Loihi芯片、800万个神经元,以解决复杂的计算密集型问题,包括在稀疏编码、图搜索、同步定位和建图(SLAM)、路径规划、约束满足问题等等。
今日公布的Pohoiki Springs,是迄今为止最大规模的神经拟态计算系统,由24个Nahuku主板组成,每个主板32颗芯片,总共集成了768颗Loihi芯片、1亿个神经元,将Loihi的神经容量增加到小型哺乳动物大脑的大小。
这是在向支持更大、更复杂的神经拟态工作负载的道路上迈出的重要一步,为需要实时、动态的数据处理新方法的自主、互联的未来奠定了基础。
▲英特尔Nahuku主板
“如果我说从800万(个神经元)增加到1亿相对简单,我想我的团队不会同意。”Mike回忆道,从调试、测试大量芯片,到解决芯片制造和软件等方面的问题,这其中有很多令人头痛的事情。
即便是现在,常规计算与编译系统仍然是一个瓶颈。“我们没法用传统计算架构的相关软件工具,因此更实际的问题是,必须从晶体管重建整个软件系统堆栈。”Mike说。
接下来,Mike和他的团队将在研究中投入更多的时间和想法,以探索更有效的方式来创造更接近人脑规模的神经拟态计算系统。
INRC成员将使用英特尔Nx SDK和社区提供的软件组件,通过云在Pohoiki Springs上访问和构建应用程序。
Mike向我们展示了一些前景极佳且高度可扩展、正为Loihi开发的算法示例:
数独游戏、航班调度、快递配送规划……限制条件满足问题在现实世界中几乎无处不在。
这需要对大量潜在的解决方案进行评估,以找到能满足特定限制条件的解决方案。
Loihi可以通过高速并行探索多个不同的解决方案,加快此类问题的解决。
每天,人们都会在基于图形的数据结构中进行搜索,以找到最佳路径和密切匹配的模式,例如获取驾驶方向或识别人脸。
Loihi已展示出快速识别图形中的最短路径和执行搜索类似图像的能力。
可对神经拟态架构进行编程,使其动态行为能够随时间的推移对特定目标进行数学优化。
此行为可应用于解决现实场景下的优化问题,例如最大限度提升无线通信信道的带宽,或分配股票投资组合,以在风险最小化的情况下达到目标收益率。
“英特尔在商业化上面临的挑战是,我们确实需要看到大量或有效解决的问题。”Mike说,相比专用芯片,他们更希望实现更通用的计算。
比如神经拟态芯片可以用作支持人工智能“闻出”有害物体的气味来检测危险物品,但这种商业应用非常专业,需要针对特定应用目标的专用芯片进行固化。
Mike说:“我们真正感兴趣的,是找到一种像冯·诺依曼架构那样相对通用的新型计算架构。反之亦然,冯·诺依曼架构总是比神经拟态学能够更有效地解决架构问题,但这才是真正扩展可应用通用计算产品组合的开始。”
尽管英特尔已经展示出很多有趣的神经拟态计算示例,但Mike认为:“我们还没有足够广泛的示例,使我们有信心将其称为具有通用性的处理器。”
Mike还提到,当前有些初创公司实际上比英特尔更早地商业化了其中的一些应用想法。
虽说英特尔Loihi神经拟态芯片还在走向通用化的道路上,不过迄今为止,它已经在展现出在很多智能领域的应用价值。
就在前几天,英特尔和美国康奈尔大学在《自然-机器智能》期刊上联合发表一篇论文,展示Loihi芯片能在有明显噪声和遮盖的情况下,“闻出”10种危险化学品。
论文称,Loihi仅需单一样本便可学会识别每一种气味,且不会破坏它对先前所学气味的记忆,要达到与Loihi相近的识别准确率,传统深度学习解决方案需要的训练样本,至少是Loihi所需样本的3000倍。
除了危险物质检测外,神经拟态芯片在智能监控、图片搜索、新药研发、资产分配、环境监测、工厂质控等方面均颇具应用潜力。
Mike曾预测,机器人将是神经拟态计算的杀手级应用。
加州理工学院AMBER实验室的Rachel Gehlhar和加拿大国家研究委员会的Terry Stewart,曾使用英特尔Kapoho Bay Loihi设备控制AMPRO3假肢,以使该假肢能够更好地适应行走时无法预料的运动学障碍。
▲Terry Stewart用英特尔Kapoho Bay设备控制AMPRO3假肢
在智能家庭应用中,想要入室抢劫的小偷,在进入房间时就可能被智能监控摄像头中的Loihi芯片所识别,并发出警报。
在消费应用中,Loihi能帮助消费者更准确地找到与特定产品的图片相似或相符的商品。
在医药场景中,Loihi可以通过模拟蛋白质折叠来帮助发现新药。
在金融场景中,Loihi可以快速做出股票投资组合等资产分配决策。
在交通场景中,Loihi还可能扮演“交警”的角色,通过优化交通信号灯的时间来缓解城市交通,或是识别汽车、自行车的运动。
在基建领域,例如遇到停电情况时,Loihi能自动确定最需要电力的某些区域。
在工业领域,Loihi也许会化身为一丝不苟的“监工”,既能精准识别有害化学物质,也能监测小到滚珠轴承、大到修建路桥的一切工业应用。
此外在国防安全方面,Loihi还可以内置到机场、边境、军事基地等的侦查设备中,更好地侦查化学武器、炸弹、毒品等安全威胁。
我们从英特尔得知,Pohoiki Springs等神经拟态系统仍处于研究阶段,其设计目的并非取代传统的计算系统,而是为研究人员提供一个工具,来开发和描绘新的受神经启发的算法,用于实时处理、解决问题、适应和学习。
随着基础算法和SDK组件日趋成熟,英特尔希望终有一日,神经拟态芯片能像大脑一样,快速高效地学习并适应不断演变的应用,最终让这项前景广阔的技术实现商业化。
除了英特尔,IBM、惠普、麻省理工学院、普渡大学、斯坦福大学等顶尖科研机构,均在推进类脑计算的相关研究。
前路依然漫长,研究人员们的终极目标是接近当今性能最强大的计算机——人类的大脑。
下一篇:创业板指翻绿