![](http://p0.img.360kuai.com/t11fd4c33014497ebcc14c1e311.jpg?size=830x400)
i黑马导语
“如果整个物理学研究的是外宇宙的机制,那么整个大脑研究的就是内宇宙的原理。”
自ChatGPT出现后,人工智能已发展成为一种新型“重工业”,其重资产特性体现在算力、数据等方面。
全球大模型热潮,让中美各国的算力需求猛增,加上硬件供应量严重不足,就导致了当前的“算力荒”。
近几年研究发现,人类大脑的能量消耗不足20瓦,但人工神经网络消耗的能量至少是大脑的100倍。
用清华大学计算机科学与技术系教授 Carlo Vittorio Cannistraci教授的话来说:
大脑连接是一个稀疏型的形态学,可做到低能耗、高效率;而人工神经网络是完全连接的,虽然能模仿人脑处理信息的方式完成特定任务,但消耗量非常高。
这意味着,如果人工神经网络能可以模仿大脑稀疏型的连接方式,优化计算模型,或许可将人工智能的能耗降低100倍,从而彻底破除“算力荒”的困境。
由此,清华大学默默开启了一项新研究:尝试构建出一个可持续性、高效的人工智能网络科学。这也是Carlo Vittorio Cannistraci教授目前正在研究的方向。
近期,Carlo Vittorio Cannistraci教授在“2024北京城市副中心未来产业发展大会”上,详细介绍了自己的最新研究结果和应用方向。他的演讲主题是《类脑计算:面向下一代的高效和可持续性人工智能》。
以下内容经《i黑马》编辑整理:
01
模仿人脑高效率、低能耗
打造下一代人工智能网络
首先,介绍一下我的背景,我是来自于清华大学脑与智能实验室的复杂网络智能中心。
![](http://p0.img.360kuai.com/t11fd4c33017f9c2b3b55676d8a.jpg?size=1320x742)
我的研究方法,是一种跨学科的研究方法。主要整合了信息理论、机器学习和网络科学,来调查不同层面可适应性的复杂系统物理学。包括分子、生态、社会系统,主要关注类脑、类生物计算,以及复杂的大数据等。
我们研究的整个理论背景,涵盖了网络几何学、网络形态、网络自适应模型。此外,我还比较关注神经科学、生物医疗和社会科学。
如果你去我的主页,除了能看到我的研究内容,还会看到这样一句话:“如果整个物理学研究的是外宇宙的机制,那么整个大脑研究的就是内宇宙的原理。”
![](http://p0.img.360kuai.com/t11fd4c33012d51a509f40be370.jpg?size=1320x654)
所以,我的研究是两个跨学科的机制,不但会研究整个大脑,还会关注整个外宇宙之间的工程和复杂系统。
我所在的研究中心,目前研究的是复杂网络。我们能看到(如下图),大脑连接是一个稀疏型的生态学,且是非常高效,它的能量消耗不足20瓦。但现在人工神经网络是完全连接的,消耗的能量非常高,是大脑消耗能量的100倍。
![](http://p0.img.360kuai.com/t11fd4c330100a33563786cdeae.jpg?size=1320x744)
所以,我的研究方向是:模仿大脑去创造一个稀疏的形态学,进而打造下一代人工智能网络,能模仿大脑的高效率和节能性。这也是当下我们正面临的一大挑战。
这里我提议,中国未来应该投资更高效的人工智能来应对各种挑战,否则有可能在新一轮竞争中丧失已有优势。
02
读硕士期间我经常思考:
为什么大脑连接是稀疏的?
2002年,我在米兰理工大学读生物工程硕士。当时,我就在想:
为什么大脑连接是稀疏的?
![](http://p0.img.360kuai.com/t11fd4c3301470ed038813e1959.jpg?size=1320x744)
从这张图可以看到,大脑连接的神奇之处在于,大脑的连接是稀疏的,这也是为什么大脑可以如此高效。
于是,我又想到,这能给人工神经网络发展带来哪些积极影响?如何让人工神经网络模仿大脑去创造一个稀疏的形态学?这就是我们研究领域常说的“拓扑学”。
我当时找到一个计算机科学的教授,问他是否能将拓扑学应用到人工神经网络呢?但我的提案被教授们拒绝了,原因是他们认为拓扑理论应用在人工智能神经网络是不好的。
![](http://p0.img.360kuai.com/t11fd4c3301ba222bac5a727875.jpg?size=1320x744)
所以,你就能够理解当时人工智能神经网络领域的研究为什么不成功,因为当时的人工神经网络的研究方向并不符合未来人工智能的发展。
或许,我们需要打造一个新的大语言模型,更好的模仿大脑去创造一个稀疏的形态学。
03
我打造出一个新原理
“网络自动机”
为此,我选择了继续读博,研究生物神经网络,我就想知道什么是神经网络,进而研究了不同的质体。
比如,人脑不同的神经元之间是怎样互动的?图形和网络有什么差别?图形是单个点,而神经网络是各个节点和线条连接起来。
![](http://p0.img.360kuai.com/t11fd4c3301b6b3ff566dd4e2f2.jpg?size=1320x744)
从生物工程学来说,我们可以看到不同图形连接的情况,看到各种动物在生态系统中是如何相互关联、相互作用的,以及人类可以通过互动可以打造一个社群。
所有这些都显示了:神经网络能够帮助我们去研究各种复杂系统,包括整个生态系统、社会系统等。
![](http://p0.img.360kuai.com/t11fd4c33010f15dabb7d9ae247.jpg?size=1320x744)
当时我的想法是:我们大脑中的原理,与宇宙中不同尺度上存在的其他复杂系统所使用的原理非常相似。
比如,在计算机科学中应用到的网络学习,我们当时还研究了为什么神经元打造的神经网络可以进行深度学习?
从这个研究中我发现,通过训练我们可以进行网络学习和连接。我们想研究的是学习和功能如何改变整个网络的连接形态,以及如何连接网络的不同部分。这也是我整个研究的重点。
![](http://p0.img.360kuai.com/t11fd4c3301a473da4d7bfb9c04.jpg?size=1320x744)
此外,我还提出了“复杂网络智能”的概念。这个概念的要点在于,研究网络连接性的修改如何与智能复杂系统中的功能性修改相关联。比如,使用网络的连接性影响不同复杂系统的功能,尤其是学习和智能。
![](http://p0.img.360kuai.com/t11fd4c3301302cb338e14d8a78.jpg?size=1320x744)
我最初的想法是:我有一个网络,可能是各个神经元、社会系统中的各个人,或是整个蛋白质等,我进行预测之后,可以改变成右边的图片。也就是,去打造更多的互联性或者连接性。
![](http://p0.img.360kuai.com/t11fd4c3301a66e0abccc8ef2bf.jpg?size=1320x584)
给大家举个例子,我们看一下这种当代社区的范式,从左边这张图可以看到,连接的形状会影响新连接出现的位置。
![](http://p0.img.360kuai.com/t11fd4c3301e7b7a459a9d916c9.jpg?size=1320x744)
再比如,在日常社交中,如果悦和英涛两个人互不相识,但有三个共同朋友,他们之间产生互动的可能性会比没有共同朋友时更高。然而,如果这三个共同朋友之间有连接(他们彼此认识),那么悦和英涛之间产生互动的可能性会更高。
所以这一理论来讲,我们不同人之间的交互,可以增加个体的交互总量。当然,要确保的一点是,人们之间能够相互打招呼、相互互动。
大脑神经元也以这种方式相互作用。我发现并用数学公式描述的这种机制,在社会、大脑、经济以及许多其他复杂系统中都有相似的表现。
所以,我打造出一个新原理——网络自动机。这个新原理,能够预测更多复杂系统。
![](http://p0.img.360kuai.com/t11fd4c33017280233505366c4a.jpg?size=1320x744)
关于这一理论,我和同事共同发表了一篇论文,使用建模方法预测不同蛋白质之间的相互作用模式,独立地证实了我的理论的有效性。
![](http://p0.img.360kuai.com/t11fd4c330171c9393877deb1f7.jpg?size=1320x548)
电子科技大学的周涛教授在一项独立研究中证实,我的理论在基于二阶或三阶路径连接的网络预测中表现最好。
![](http://p0.img.360kuai.com/t11fd4c3301f314634199fd5c07.jpg?size=1320x642)
04
中国未来应加强这一方向的投资
接下来,跟大家介绍一下我研究的应用领域,第一个是应用于蛋白质相互作用的预测。
![](http://p0.img.360kuai.com/t11fd4c33017c0b7dc7cdc5935d.jpg?size=1320x744)
我们知道,Alphafold是谷歌提出来的一个方法,这个方法的新版本能够预测生物分子的相互作用,也让人工智能有了全新发展。
在这篇研究文章中,我们使用了网络自动机的方法,对分子的相互作用进行了预测,结果我们的方法比Alphafold的表现更好。
![](http://p0.img.360kuai.com/t11fd4c33016202bb169d288986.jpg?size=1320x702)
这张图向大家展示了,Alphafold和我们模型的结果对比,看得出,我们的预测结果更好,我们预测的性能也是更高的。
![](http://p0.img.360kuai.com/t11fd4c33016fd94b2db61f8d74.jpg?size=1320x744)
下面这张图可以看出,我们的方法要比Alphafold快大概50分钟,这也让我们在未来更具竞争力。
![](http://p0.img.360kuai.com/t11fd4c33013613cd31923a9e92.jpg?size=1320x744)
大家知道,我在2002年读研时,就提出这样一个问题:如何去利用大脑的连接稀疏性?
这几年,我们已经看到,训练AI大模型的成本非常高,这样下去是不可持续的,因此我们要打造一个新的网络方法。
可以看这张图,显示了稀疏的AI芯片开发商,他们在A轮中融到了数千亿美元的资金,也让我读硕士期间的提议变成了现实。这也是美国比中国发展更快的一个点。
![](http://p0.img.360kuai.com/t11fd4c33011c370d83af06dcfd.jpg?size=1320x514)
目前,中国有一家公司(Moffett AI )投资了稀疏化的训练,而美国已有很多公司投资了稀疏训练。因此中国需要加大对稀疏训练的投资。
![](http://p0.img.360kuai.com/t11fd4c330125b5c94282ed3ad4.jpg?size=1320x742)
在这项研究中,我们引入了一种创新的类脑稀疏训练方法。
![](http://p0.img.360kuai.com/t11fd4c33011bf3f0011e9b57aa.jpg?size=1320x602)
这张图向大家展示了我们发明的训练算法。最终执行之后,我们发现整体性能提高了,同时网络中的交互和节点数量减少了。
![](http://p0.img.360kuai.com/t11fd4c33013afaa43de58b4176.jpg?size=1320x686)
在测试中,我们将网络连接起来后,只有1%的连接,这个网络是非常稀疏的,我们的模型性能比整个完全连接的网络的速度要更高一些。
![](http://p0.img.360kuai.com/t11fd4c33019360f31731888c31.jpg?size=1320x542)
目前,谷歌的一些网络无法完全达到这样的性能,所以从这一点看,到我们的类脑研究已经有非常大的进展了。
这张图向大家介绍下清华团队,未来我们的研究:
![](http://p0.img.360kuai.com/t11fd4c33014a5734a97793bae2.jpg?size=1320x576)
第一点是生物医学建模的复杂系统和网络科学;第二点是利用脑网络神经科学研究来发展人工智能稀疏训练,这是中国需要加速研究的;第三点是研究高效人工智能的神经形态计算。
[本文作者i黑马,i黑马原创。如需转载请联系微信公众号(ID:iheima)授权,未经授权,转载必究。]
友情提示
本站部分转载文章,皆来自互联网,仅供参考及分享,并不用于任何商业用途;版权归原作者所有,如涉及作品内容、版权和其他问题,请与本网联系,我们将在第一时间删除内容!
联系邮箱:1042463605@qq.com