如何把存储器做到CPU里？我们向大脑找答案

整理|网易科技 孟倩

特别鸣谢 部分编辑校对：

刘千惠，浙江大学计算机科学与技术专业博士生

邢东，浙江大学计算机科学与技术专业博士生

过去的十年以深度学习为代表的人工智能技术深刻影响了人类社会。但人类要进入真正意义上的智能时代，还需要更强大的智能技术。而向人脑学习，借鉴人类大脑的智能产生机理被认为是一条非常值得期待的道路。反过来，AI技术也在深刻改变着脑科学的研究方法。在“观测脑”手段不断变革的基础上，AI技术为脑科学提供了越来越强大的分析、展示和科学发现手段。

2020年4月25日，青创联盟发起的YOSIA Webinar特别推出了“AI+X”科学系列主题，第一期主题为AI+脑科学，主要针对人工智能与脑科学的发展以及两者间的相互影响进行了分享。

本次参与者有六位嘉宾，他们分别是来自浙江大学计算机学院的唐华锦教授，清华大学微纳电子系教授、副系主任吴华强，清华大学计算机科学与技术系副教授胡晓林、中国科学技术大学神经生物学与生物物理学系主任毕国强、北京师范大学认知神经科学与学习国家重点实验室毕彦超教授以及北京大学信息科学技术学院长聘教授吴思。主持人为未来论坛青年理事会轮值主席、中科院计算所研究员、博士生导师山世光教授。

唐华锦发表了《神经形态计算机》的主题分享，他认为模拟大脑智能是计算机科学领域长久以来的目标，成为过去几十年人工智能的发展的重要推动力。

人工智能和脑科学在各自领域独自发展，且都取得了很大突破，我们亟需以新的眼光和视角重新建立两者的联系，特别是从脑科学的角度探索人工智能的新思路和新方法。报告从探讨神经元－突触为计算载体的信息处理和计算形式、记忆的形成和存储，以及高级认知的产生，探讨基于脑科学、神经科学的人工智能的展望。

他分享了如何来设计未来的神经形态计算机。首先必须具备异构的网络结构，其次包含时序动力学的神经元非线性，要构建基于突触可塑性的信用分配算法不仅实现模式识别这样深度学习里面已经非常成功应用的各种算法，而且要实现学习-记忆融合的认知计算，我们未来把大脑搬进机箱让它实现知识的表达、知识的学习、认知以及环境的交互。

吴华强则进行了《大脑启发的存算一体技术》的分享，他提到，人工智能无处不在，从云端到我们手机端都有很多人工智能也在深刻影响我们生活。并且人工智能的研究和应用已经取得了突飞猛进的发展，但是运行人工智能深度神经网络算法的计算平台主要是超级计算机群（成百上千个CPU和GPU）,不但需要巨大的硬件投入，而且占用的空间和消耗的能源也非常可观。

受限于存储计算分离对芯片性能的限制，同时CMOS工艺微缩速度放缓，以及人工智能应用对计算存储需求的不断提升，当前的技术将面临诸多新的挑战。

因此，我们需要类脑计算、存算一体，这也是向生物找答案，向大脑找答案。用脑启发设计新的人工智能芯片是非常必要也是急需的。

在这一背景下，新器件的出现变得至关重要，通过引入新原理的半导体器件，不但可以拓展芯片的功能，甚至可以颠覆传统电路理论，突破当前芯片面临的能效、速度瓶颈，大幅提升芯片性能。

基于过渡族金属氧化的忆阻器件显示出了优越的存算一体的特性，能够规避存储和计算之间数据搬运的功耗并且能够实现大规模集成，进而实现高性能计算。

胡晓林则从AI的发展，神经网络的发展来谈如何促进神经科学的研究。他阐述了《神经元稀疏发放在视听觉通路上的作用》，受Barlow高效编码理论的启发，上世纪90年代人们通过计算建模的方式发现神经元的稀疏发放对于哺乳动物的视觉和听觉系统的前期的信息处理机制有着重要作用，但是稀疏发放对于更上层的功能区域有什么作用一直不是很清楚。

在报告中胡教授介绍了目前他们的发现，通过用深度学习对脑的视听觉通路的建模的两个案例，建模后发现，高级视听觉区域的神经元的稀疏发放与它们的一些独特功能有着密不可分的关系。该结果暗示高效编码理论可能在高级感觉区域也是成立的，从而推广了前人在感觉通路低级区域发展出来的高效编码理论。

在问答环节里，六位嘉宾探讨了脑科学为AI提供了哪些思想、技术和方法，同时进行了相应的转化，而AI也为研究脑科学提供了分析工具，并提供了更多思路。

“我们理解一个事情，我们需要能创造它才能做它。”从AI和脑科学的整体关系，是科学和工程的关系。作为正在被打开的两个“黑箱”，二者在互相影响和碰撞，等待更大空间的研究被发现和释放。

怎么样培养更多的交叉学科的人才成为了重点讨论问题。嘉宾们认为这是一个很大的挑战，作为交叉学科的人，要对两个学科都要有充分的把握，而这两个学科都是很难的学科，挑战很大，因此需要鼓励青年人要真正追求自己的兴趣，如果真的想研究，要花别人双倍的力气把这两个学科都学好。

以下为AI+脑科学主题分享速记：

主题报告

分享一：《神经形态计算机》—唐华锦

唐华锦，浙江大学计算机学院教授

唐华锦教授分别于浙江大学、上海交通大学完成本科和硕士学习，2005年新加坡国立大学获得博士学位。2008-2015年于新加坡科技研究局资讯通信研究院担任Robotic Cognition实验室主任，2014年起担任四川大学类脑计算研究中心主任，目前为浙江大学计算机学院教授。主要研究领域为神经形态计算、类脑智能芯片、智能机器人。获2016年度IEEE TNNLS杰出论文奖、2019年度IEEE Computational Intelligence Magazine杰出论文奖。担任/曾担任IEEE TNNLS、 IEEE Trans. on Cognitive and Developmental Systems、Frontiers in Neuromorphic Engineering，Neural Networks等期刊的Associate Editor，担任国际神经网络学会（International Neural Networks Society）理事及评奖委员会成员等。

唐华锦：大家好！我今天很荣幸被邀请来分享这样一个主题，我的主题是以神经形态计算机为中心来探讨一些开放问题以及对这个领域做一些展望。

我今天报告提纲分以下几条：

一、首先简述计算机与大脑的区别以及大脑对开发更加新型智能计算机的启示；

二、接着讨论关于神经形态计算机的必要组成以及介绍大脑如何完成各种计算任务的；

三、之后介绍目前算法的进展以及硬件方面设计的成果；

四、最后提出对这个领域的个人的总结和展望。

计算机与大脑的区别以及大脑对开发更加新型智能计算机的启示

大家知道，目前的计算机体系是基于冯·诺伊曼架构，这已经非常成功的引领计算机科学技术的发展几十年。在这个计算机架构的基础上我们的深度学习在近年取得了飞速发展，在各个领域取得非常成功的应用。同时，冯·诺伊曼架构发展到现阶段也存在一些制约，比如说由于存在风险带来的I/O性能的瓶颈制约以及功耗的制约，这种制约随着大数据、深度学习为基础的计算架构带来的拥挤会凸显的越来越严重，比如大量数据读写严重降低整体效率。和大脑的计算方式相比，大脑处理的步骤非常少，但它的运行速度非常高。其次由于突触和神经元同时可以做激发和存储，所以不存在冯·诺伊曼架构的I/O的吞吐带来的瓶颈。就能耗来说，大脑的计算能耗非常低，大致只有20W左右，所以带来的计算效率非常高。另外非常显著的区别，计算机实现的或者处理大量的实值数据，大脑神经元处理的（或者说编码的）都是稀疏的事件或者神经科学称之为脉冲。从如何构建一个非冯·诺伊曼体系的新型智能计算机体系，不仅是计算机科学也是我们计算机工程以及硬件芯片发展的一个重要方向。随着新的计算体系结构以及硬件方面的实验，我们预测可能带来新一代的人工智能的算法的硬件以及架构上的新突破。

关于神经形态计算机的必要组成以及介绍大脑如何完成各种计算任务的

下面我从大脑主要的计算过程来解释一下我们如何来设计未来的神经形态计算机。

第一，网络结构。生物神经元有多种神经元类型，这里以锥体神经元（Pyramidal神经元）为例，锥体神经元是多个环节、多个部件组成的复杂的神经元模型结构，包括轴突的远端和近端，对生物神经元的输入前馈和反传，发生在神经元的不同部位，对于I/O来说做了充分的简化，把它作为一个典型神经元，没有远端轴突和近端轴突的区别，从网络结构上来说，大脑存在着大量稀疏的异构的连接结构，目前ANN主要依赖的深度网络是前馈全连接的网络结构。当然在不同的网络结构处理的实际方式也有显著不同。基于深度网络的空间算法，往往采取一个全区的优化函数来达到最优值来调解。而对于生物神经网络来说，由于存在大量的局部连接以及远程连接，有丰富多样的突触可塑性，可以更加灵活的调整神经元之间的连接来完成对目标函数的优化。

第二，大脑的计算模式采用的是更加接近生物的个性的方式，比如脉冲神经元的输入，在人工神经元里面不需要考虑输入时间的特性，输入是一个实值，典型的ReLU函数或者Sigmoid激活函数做了一个这样的简单的非行为数据，但是对于生物神经元来说，它不仅采用了输入输出的映射，还具有四个典型的时间的非线性动力学，一是膜电位积分，二是漏电效应，三是不应期，四是需要阈值来判定脉冲发放或不发放。这样导致脉冲神经元输入脉冲编码的不连续性，以及输出脉冲的不连续性。这样导致后面的第三个问题就突出来，即信用分配问题。信用分配在人工神经网络里常常说成是优化算法，最典型的一个优化算法是误差反传，就是梯度下降算法，但是这里梯度下降算法存在一个误差，要求前向和反向权值要完全对称，因为全局的目标函数，设定了一个这样的网络结构，这是典型的ANN的学习模式以及处理方式。

第三，生物神经元同样的信用分配机制，但是采用完全不同的处理方式。神经元之间依赖于脉冲发放时间，导致他们可以采用基于脉冲时间的学习方式，最典型的在神经科学里面应用非常广泛的是STDP（脉冲时间依赖的突触可塑性），基于脉冲时间前后发放的时间差来调整权值，实现局部的无监督学习。此外，我们也可以考虑设计输入脉冲和期望脉冲序列之间的序列差，来有监督式的学习和训练脉冲，发放一定的脉冲。

其次依据多巴胺的神经科学的发现，可以构造这样一个强化学习的脉冲实验网络，把每个神经元和突触都当做一个智能体，把发放脉冲或者不发放脉冲作为一个它的行动，来构成这样一个强化学习网络，这样不仅实现更加灵活的行为，而且是生物性更加强的一种学习算法。

第四点，大脑的计算机制，重要的是学习与记忆的融合。在前馈网络里，权值训练完之后，当新的任务进来，往往权值会被抹杀或者权值遗忘的作用，但是在生物神经元里面，有大量的专门负责记忆的细胞，比如海马体中存在各种记忆细胞，尤其是对位置细胞的编码，对空间的感知认知，它可以记忆熟知的场景，对这个空间进行编码。所以依据皮层-海马等脑区，可以实现神经元大脑对外部输入的表达，学习及记忆构成一个基于学习、基于融合的认知计算。（图）右侧是一个对皮层以及海马体主要微脑区的神经电路结构，基于这样的电路结构，我们可以实现基于海马体的联想记忆、持续记忆以及对空间的记忆模型。

目前算法的进展以及硬件方面设计的成果

下面初步介绍一下我们在这个领域的初步成果。因为时间有限，只是展示冰山一角。

对于信息的编码，把输入信息经过脉冲神经元的编码转变成一系列的时空脉冲信号，可以对输入信息进行编码以及重构。下图是Nature的一篇文章，上图是做的编码神经元的算法。

同时可以对新型的神经形态视觉算法进行脉冲编码和表征处理，分别处理动态的视觉信息，发表在2020年TNNLS的一篇论文上。

另外，信用分配算法可以高效的解决脉冲神经网络由于时间动力学带来的训练困难问题，不仅在空间上进行误差反传，可以同时把误差信息传递到脉冲的时间信息上，经过这样的设计我们提出了基于脉冲簇的学习算法，不仅是可以训练神经元在指定时间发放脉冲，而且是指定发放脉冲簇。

这是目前几种典型的脉冲损失函数，各自具有一些不同的缺陷，我们改造这样的损失函数，可以不断的训练发放，训练这样一个脉冲簇。它的优点是能够训练神经元对复杂的时间序列的神经元的响应特性，左图显示的是杂乱无章的神经元响应，右侧是训练后神经元能够显示出对某些特定信号的选择性响应。这是一个新型的深层的脉冲网络，在训练性能上已经超越专门设计和训练的CNN的网络。

学习与记忆融合，我们构建多层的模仿多层脑区的结构，实现神经元的编码以及监督学习和无监督学习，同时实现联想记忆和时序记忆。右侧是神经硬件电路图，是北大黄如院士团队合作的FPGA硬件的记忆模型的设计和实现。

在感知-认知-交互闭环上我们做了一个初步的成果，把海马体电路搬到机器人上，通过硬件模式来实现机器人对空间感知、认知交互的闭环。在Communications of ACM 2018专题介绍了这样的工作，来解释大脑如何帮助机器人对复杂环境空间的感知，依赖空间位置神经元对空间的记忆以及编码的作用。

无独有偶，在Deepmind，今年也开展了这样类型的工作，但与我们基于模型、大脑结构方式的不同，Deepmind在基于学习和训练的网络来训练神经元，发放基于网格细胞的效应特性，右图展示了他们在虚拟环境下的网络的效果。有兴趣的朋友可以看一下论文。

在硬件实现上的一些成果。通过数字或者模拟集成电路可以实现神经元、突触以及各种突触可塑性，在这个领域上已经有大量的神经形态芯片的成果，比如SpiNNaker、BrainScaleS、Truenorth、Loihi、ROLLS、清华“天机”芯片、浙大“达尔文”芯片等，都是属于在数字模拟电路上实现架构。另外，在对于未来类脑芯片的潜在突破，忆阻器及阵列，忆阻器可以分别实现突触和神经元，实现模拟矩阵运算即存算一体。

下面我举了北大杨玉超、黄如老师的工作，以及清华吴华强老师的工作，发布在Nature communications上，吴老师随后会更加详细的介绍，他们实现一体机的阵列来设计构建了这样模拟矩阵的运算，实现快速的存算一体的神经网络的计算模式。

关于神经形态计算机，我个人提出一些不太成熟的总结与展望。首先必须具备异构的网络结构，其次包含时序动力学的神经元非线性。要构建基于多种突触可塑性的信用分配算法，不仅实现模式识别这样深度学习里面已经非常成功应用的各种算法，而且要实现学习-记忆融合的认知计算，我们未来把大脑搬进机箱让它实现知识的表达、知识的学习、认知以及环境的交互。

分享二：《大脑启发的存算一体技术》—吴华强

吴华强 清华大学微纳电子系教授、副系主任

清华大学微纳电子系，长聘教授，副系主任，清华大学微纳加工平台主任，北京市未来芯片技术高精尖创新中心副主任。2000年毕业于清华大学材料科学与工程系和经济管理学院。2005年在美国康奈尔大学电子与计算机工程学院获工学博士学位。随后在美国AMD公司和Spansion公司任高级研究员，从事先进非易失性存储器的架构、器件和工艺研究。2009年，加入清华大学微电子学研究所，研究领域为新型存储器及存算一体技术，先后负责多项自然科学基金、863、973和重点研发计划项目和课题。在Nature, Nature Communications, Proceedings of the IEEE等期刊和国际会议发表论文100余篇，获得美国授权发明专利30余项，获得中国授权发明专利40余项。

吴华强：今天和大家分享一下我们做的一点工作，题目是“大脑启发的存算一体技术”。

我的报告将从硬件的挑战，研究进展以及展望三方面来介绍大脑启发的存算一体技术。

人工智能无处不在，从云端到我们手机端都有很多人工智能。不同的人工智能应用对芯片的需求是不一样的,比如数据中心、汽车无人驾驶要求算力特别高，而智能传感网、物联网和手机希望耗能低，追求高能效。不同应用对芯片的不同需求给了芯片领域很多机会。

人工智能的三个发展浪潮和硬件算力也有关系。从第一款神经网络Perceptron网络AI开始火起来，到70年代进入低谷，一个非常重要的因素是，虽然有很好的理论模型，但是没有足够的算力。后来专家系统出现，第二波浪潮又起来。这时候很多人做专门围绕人工智能的计算机。同时代摩尔定律快速推动芯片的发展，通用计算机的性能飞速上扬，专业计算机能做的通用计算机也能做，因此逐渐占据市场，第二波浪潮又下去。第三波浪潮，深度神经网络的提出到利用GPU加速网络训练，GPU成为AI的主要训练平台。有了更大的算力，网络规模快速提升。AlphaGo Zero需要5000个TPU训练40天才成为地表最强的围棋选手，花费的时间还是很大的，因此人工智能的广泛应用需要硬件能力革新，支撑人工智能的发展。

芯片能提供的算力和人工智能的高需求是很矛盾的。第一台计算机ENIAC出现在1947年，算力是每秒钟5000次左右。英特尔2019年的CPU大约是20.8GFLOPS。我们看到它的变化是围绕着摩尔定律，即每18个月翻一番的集成度来提升算力。但是目前AI的需求是每3.4个月翻一番。因此需要寻找新方法提供算力。

算力提升越来越困难有两个原因，一是过去摩尔定律是把器件做的越来越小，现在器件尺寸缩小已经接近物理极限了，所以摩尔定律逐渐失效。二是传统计算架构发展带来的性能提升日趋缓慢。现代计算系统普遍采用信息存储和运算分离的冯诺依曼架构，其运算性能受到数据存储速度和传输速度的限制。具体来说，CPU的计算速度小于1纳秒，但是主存DRAM是百纳秒左右，也就是存储的速度远远低于计算速度。在能耗上，以TSMC45纳米的工艺为例，加减乘小于一个pJ，但是32位DRAM的读要高达640个pJ，这一比也是百倍的差距。因此存储速度远远低于CPU的速度，而存储的功耗也远远高于CPU的功耗。这还没有讲存储的写，写的功耗会更高。这样整个系统的性能受到数据存储速度和传输速度的限制，能耗也因为存储读的功耗和写的功耗很大，导致整个系统功耗都很大。

现在可以看到很多新的计算出来了，量子计算、光计算、类脑计算、存算一体。所以当我们要思考未来的计算时，我自己觉得量子计算、光计算是向物理找答案，类脑计算、存算一体是向生物找答案，也就是向大脑找答案。

著名的人机大战，人工智能选手AlphaGo用了176个GPU、1202个CPU，功耗是150000W。而我们大脑体积大概1.2L，有1011个神经元，1015个突触，思考的时候功耗是20W。大脑的功耗这么少，这么聪明，这里面还有这么大容量的神经元、突触。所以我们希望用脑启发设计新的人工智能芯片。

我们想通过向生物学家学习、向神经学家学习，来看看大脑是如何处理计算的。大脑有几个特点，一个是有大量的神经元连接性，以及神经元加突触的结构，一个神经元将近连接了1万个突触。第二个它的时空信息的编码方式是用脉冲的方式。我们希望模仿大脑的结构和工作机制，用脉冲编码的形式来输入输出。

生物突触是信息存储也是信息处理的最底层的生物器件。我们想在芯片上做电子突触新器件，做存算一体的架构。新器件方面我们主要研究的是忆阻器，它的特点是可以多比特，同时非易失，即把电去掉以后可以保持这个阻值，并且它速度很快。还有很关键的一点，它和集成电路的CMOS工艺是兼容的，可以做大规模集成。近十年我们一直围绕这个器件来做其优化和计算功能。

美国DARPA的FRANC项目提出用模拟信号处理方式来超越传统的冯·诺依曼计算架构，希望带来计算性能系统的增加。任正非在2019年接受采访时说，未来在边缘计算不是把CPU做到存储器里，就是把存储器做到CPU里，这就改变了冯·诺依曼结构，存储计算合而为一，速度快。阿里2020年的十大科技趋势里提到计算存储一体化，希望通过存算一体的架构，突破AI算力瓶颈。存算一体的理念也是受大脑计算方式启发的。

基于忆阻器的存算一体技术可以分为三个阶段：第一个阶段是单个器件的发展阶段。2008年惠普实验室的Stan William教授首次在实验室制备了忆阻器，之后美国密西根大学的卢伟教授提出了电子突触概念，美国UCSB大学的谢源教授提出了基于忆阻器的PRIME存算一体架构，引起广泛关注。第二个阶段开始做阵列，2015年UCSB在12×12的阵列上演示了三个字母的识别，我们团队2017年在128×8的阵列上演示了三个人脸的识别，准确率能够大于95%，同时期还有IBM，UMass和HP等研究团队实验实现了在阵列上的存算一体；第三个阶段是存算一体芯片，我们以芯片设计领域的顶会ISSCC上近几年发表的文章为例，2018年松下展示了多层感知机的宏电路，2019年台湾地区新竹清华大学和台积电联合演示了卷积核计算的宏电路，今年清华和斯坦福合作做的限制玻耳兹曼机宏电路。也是今年我们清华团队完成的一个全系统集成的完整的存算一体芯片，从系统测试结果来看，这个芯片能效高达78.4TOPs/W，是相当高的。我们还做了一个对比，一个是存算一体的芯片和系统，一个是用了树莓派28纳米的CPU。我们的芯片跑完一万张图片是3秒，而他们是59秒，我们的速度要快很多，准确率却相当。

今年1月我们在Nature上发表了一个忆阻器存算一体系统的工作。这个工作主要是把多个阵列放在一起组成一个系统，并验证是否能用作模拟计算来实现AI的工作。我们提出新型混合训练算法，实现了与软件相当的计算精度。还提出了新型卷积空间并行架构,成倍提升了系统处理速度。

为什么忆阻器存算一体适合人工智能呢？因为交叉阵列结构特别适合快速矩阵向量乘法。存算一体可以减少权重搬移带来的功耗和延时，有效地解决目前算力的瓶颈。另外，人工智能更关注系统准确性，而不是每个器件的精度，这特别符合忆阻器和模拟计算的特点。

我们还和毕国强老师合作了一篇综述文章。利用脑启发来设计人工智能芯片，我们把大脑从I/O通道，到突触，神经元，到神经环路，到整个大脑的结构，都和电子器件做了对比。文章题目叫《Bridging Biological and Artificial Neural Networks》，发表在2019年的Advanced Materials上面，如果大家感兴趣可以读这个文章。

展望未来，希望能够做一个存算一体的计算机系统。以前是晶体管加布尔逻辑加冯·诺依曼架构，现在是模拟型忆阻器加模拟计算和存算一体的非冯架构。

人工智能无处不在，从云端到我们手机端都有很多人工智能也在深刻影响我们生活，前几天听说谷歌用人工智能预测天气预报，比过去物理模型做的好很多，所以说人工智能的应用会越来越广泛。

我们看看不同的人工智能的应用对芯片需求是不一样的。数据中心的需求就是要求算力特别高，比如说GPU，芯片算力有多少个TOPs，功耗比较高，但是它的算力很大，比如汽车无人驾驶也是大芯片，算力很高。智能的传感网、物联网和我们手机都是用电池的，这种情况下希望耗能特别低，这时候就追求高能效，比如1W到几十个TOPs等等，甚至更高，所以不同的应用对需求不一样，这也给了我们芯片领域很多机会，不管是瞄准数据中心服务器的还是智能终端的。

人工智能有三个浪潮，我主要从三个浪潮和硬件算力的关系来说。1956年，达特茅斯开AI夏季研讨会，1957年Rosenblatt发明了第一款神经网络Perceptron，后来AI就非常火，大家发现这个有用。到了70年代，后来就出现一些问题，进入了低谷，这里面有一个非常重要的因素，虽然理论模型很好，但是缺的算力很多，没有足够算力是不行的，那时候芯片的算力只有1M的OPs，其实跟现在比差了很多，所以1到10M OPs的芯片算力很难支撑序列的复杂任务。到后来专家系统出现，专家系统能回答很多问题，第二波浪潮又起来，这时候很多人做专门围绕人工智能的计算机，这时候从操作系统上、指令集上等等做了一些设计，那时候摩尔定律快速推动芯片的发展，通用计算机的性能飞速上扬，很多事情专业计算机做的事情，通用计算机也能做，这时候通用计算机性能飞速上扬，逐渐占据了市场。第二波浪潮下去了。第三波浪潮，2006年Hilton提出深度学习神经网络，到2015年Alex提出利用GPU加速网络训练，获得了当年ISV计算冠军，GPU就成为AI的主要训练平台，网络规模快速提升，我们可以看到后来一些专用的硬件，比如谷歌开发的APU，包括计算所的“寒武纪”等等，都是新型的硬件架构开始走上了舞台。我们看看AlphaGo的Zero需要5000个TPU训40天才成为地表的围棋，还是要花很大时间训练的，对他算力的趋势很大，我们也希望硬件能力革新，能够支撑发展。

这张表是我们团队基于英特尔的一个表又重新制作的表。计算机在四几年的时候，ENIAC，这个计算机当时的算力是每秒钟5000次左右，5000是加法，400是乘法。现在英特尔的CPU，20.8的GFLOPS，这是2019年的。我们看到它的变成，从ENIAC，到英特尔的386、486，到奔腾，到英特尔Croe，它是围绕着摩尔定律，每18个月翻一番的集成度来提升算力。当芯片功耗比较高就调整为多核，开始进入换变期。其实中间还有Nvida的GPU，GPU比CPU搞一个数量级。但是我们AI的需求，可以看到在这之后每三年四个月翻一番目前，AlphaGo Zero在这个地方，可以看到芯片能够提供的算力和人工智能的高需求是很矛盾的，所以需要寻找新方法提供算力。

芯片来讲算力提升越来越困难。有两个原因。（图）这个图展示80年代到现在的性能表，是J·Hennessy和D.Patterson的文章里讲的，目前来讲每年的算力提升3%左右。两个原因，一是过去摩尔定律是把器件做的越来越小，现在器件尺寸缩小已经接近物理极限了，所以摩尔定律变换了。二是传统的计算，存储计算分子架构带来的性能提升日趋缓慢。

摩尔定律变缓。在2019年我们集成电路的量产工艺是7纳米，今年说是要5纳米、现在3纳米也看到了机会。再往下很难做，原因就是说我们现在原则执行一个纳米左右，再往下做很多量子效应是很难控制的。晶体管尺寸存在物理极限，不可能无限的缩小，所以传统的不断缩小器件尺寸的方式已经很难往下走了。

存储墙的瓶颈。冯·诺伊曼架构因为存储、计算分离，1946年提出冯·诺伊曼架构，处理器分离，处理器专门做计算，算完之后通过总线把数据放到存储器，需要数据从存储器再提取数据，通过总线传到处理器来，这种存算分离架构在设计上非常清晰，也助推了过去70年的计算机系统的发展。但现在受到一个很大的挑战，我们看右边的表，CPU的计算速度小于1纳秒，但是我们主存DRAM是百纳秒左右，这方面存储的速度远远低于计算速度，差100倍，存储就拉后腿了。最右边的图是能耗图，TSMC45纳米的工艺，可以看到加减乘，其实也就小于一个PCR左右，但是32位DRAM的读要高达640个PCR，这一比也是百倍的差距。所以看到存储速度远远低于CPU的速度，它的功耗也远远它的功耗。而且还没有讲存储的写，写的功耗更高。这样整个系统的性能受到数据存储速度、传输速度的限制，能耗也因为存储读的功耗、写的功耗很大，导致整个系统功耗很大。

向大脑找答案

所以我们讲人工智能时代我们要思考未来的计算，刚刚唐老师也做了很好的总结，现在可以看到很多新的计算出来了，量子计算、光计算、类脑计算、存算一体。我自己觉得量子计算、光计算是向物理找答案，类脑计算、存算一体是向生物找答案，也就是向大脑找答案。

我们来对比，我们知道人工智能让我们大家很感兴趣，著名的故事AlphaGo和李世石、柯洁大战，一个是2016年3月份，一个是2017年4月份，最后李世石和柯洁都输了。我们看到AlphaGo用了176GPU、用了1000多个CPU，又把TPU又加上了，它的功耗是150000W，我们大脑体积大概1.2L，有11的11次的神经元，10的15次方个突触，而且在思考的时候功耗是20W，这是非常奇妙的。大脑的功耗这么少，这么聪明，这里面还有这么容量计算的神经元、突触。所以我们希望用脑启发设计新的人工智能芯片是非常必要也是急需的。

我们看一看大脑从微观到宏观尺度。（图）我们从电子信息的角度、芯片角度来看这个问题。以视觉系统来看，视觉信息处理前面眼睛传感，视网膜是各种各样的细胞结构。后面还有对比视觉信息的处理。这是大脑和神经环路的结构。还有很多神经元，轴突和另外一个神经元的树突形成了一个突触。仔细看突触，轴突过来，这是树突接收的地方，然后发现很多离子通道，离子通道也很关键的，是很重要的机理。从结构上来看，最底层是离子通道，形成了突触，这个有突触，这边有神经元，再往上有神经环路，脑网络。从微观到宏观尺度，怎么反映到芯片里面？怎么反映到Brain Spike Cumputng里面去，这是我们需要思考的问题。

把神经元放大里面，这是它的轴突、树突，这是另外一个神经元，它的轴突和树突交接的地方就是Steps。动作电位是神经传导的胜利基础，例子通过通道移动之后会引起离子膜电位的变化，膜电位的变化介导神经信号的传导。我觉得这里面还有好多可以学习的，我今天会简单提一句我们另外的工作，也是树突上面的一些计算功能。

类脑计算。大脑有很多奇妙的地方，我们想通过向生物学家学习、向神经学家学习看看大脑怎么计算。大脑有几个特点，有大量的神经元连接性的突触，神经元加突触的结构，一个神经元将近1万个突触。另外它的时空信息的编码方式是用Spike的方式，Spike之间的间距来看，我们把这些转移Spike过来，在一个神经网络里面不管是积分也好，还是非线性处理也好，我们希望模仿大脑的结构和工作机制，也就是说我用脉冲编码的形式来输入输出，编码方式和现在的数据上的输入是不一样的，刚才唐老师也介绍了这方面的工作。

突触这个地方，生物突触是既储存了信息，I/O通道的情况会对突触的大小有影响。另外，它的膜电位在这个地方也进行了信息处理，我们认为突触结构本身是信息的存储也是信息处理的最底层的生物器件。我们能不能在芯片方面做同样的事情，我们做电子突触新器件，我们做存算一体的架构，我们改变我们的冯·诺伊曼架构，存储计算分离架构变成存算一体架构，这时候新器件我们主要做忆阻器，忆阻器这个器件还是比较简单的，因为太复杂的器件集成度上不去。大脑有千万亿个突触，我们比它少一点也得是多少亿以上才行，我们器件很小，很简单，上电极、下电极，中间是介质层。这期间通过里面氧离子的运动，让我们这个器械的组织可变，这是在持久电压下的情况。它有个特点，可以多比特，这个器件可以1欧姆可以是2欧姆，可以是3欧姆，可以在不同的组织停下来。同时这个组织是非易失的，把电去掉以后，它保持这个组织，它速度很快，多少纳秒之后就行了。还有很关键的一点，它和集成电路的工艺很多是兼容的，也就是CMOS compatible，可以做大规模集成，这是这个器件的特点，我们主要围绕这个器件，近十年一直做它的优化和在它的上面做计算功能。什么叫新型计算范式呢？在人工智能算法里面有很多向量乘矩阵、矩阵乘矩阵，如果把向量X1、X2、XM，转化成器件的交叉阵列，垂直上电极，中间黄的是介质层，在这种情况下，如果把X1到XM转化到电压的V1、V2到VM，这样我把这边G11参数转化为器件的电导，电压乘以电导就得到电流，这是欧姆定律，定流累计相加就得到了总和电流，这是加法。也就是说我们现在的计算是基于物理定律的计算，这是用完成矩阵乘积的计算。

存算一体美国DAPPA的FRANC项目，美国的ERI“电子复兴计划”里面提的FRANC项目，他们提出用模拟信号处理方式来超越传统的冯·诺伊曼计算架构的创新，希望带来计算性能系统的增加。

任正非在2019年4月接受美国采访时说华为未来一方面做连接做5G，在边缘计算上做到世界最好，未来在边缘计算不是把CPU做到存储器，就是把存储器做到CPU里面，就改变了冯·诺伊曼结构，存储计算合而为一速度快，他们也在做这个事情。

阿里2020年讲十大科技趋势，趋势二里面就说，计算存储一体化，通过AI算力评级。可以说采用存算一体的架构，应该说是非常大的突破，我们也希望能够突破AI算力瓶颈。存算一体的理念也是受大脑计算方式启发的。

数字芯片，它的技术路线由过去的CPU、GPU，也有谷歌TPU，它是用近存计算来做的，还有存算一体处理器等等。

我们的存算一体处理器，我把它三个阶段，单位个器件的发展阶段，惠普的Stan Villiam，在2008年首次在实验室制备了忆阻器，之后密歇根大学的卢伟教授提出电子突触概念，之后华人教授加州大学的谢源教授提出PRIME存算一体架构，谢源教授现在在阿里巴巴。

第二个阶段，做完器械之后开始做阵列，2015年UCSB的Barbaro Dimitri（音）教授在12×12的阵列上，也是三个字母，Z、V和M三个字母识别，我们2017年在128×8的阵列上，演示了三个人脸识别工作，准确率能够大于95%，比CPU+外存储器高一千倍左右。还包括密歇根大学的稀疏编码，惠普和麻省大学在8K上的MNIST数据集，IBM做的结合相变存储器和GT1C单元演示前夕学习，这是他们2018年做的工作。2015年到2018年是国际上多个团队存算一体的阵列工作。

第三个阶段是存算一体芯片，芯片可以更好地反映trade-off，松下的宏电路多层感知机，包括新竹清华大学和台积电的卷积核计算，ISSCC上面，这是芯片里面最高的会议了。今年我们和斯坦福合作做了宏电路限制玻耳兹曼机，同时我们独立完成了一个全系统集成的完整的存算一体芯片，也是一个多层感知机。跟它合作的是宏电路，我们这是一个完整的芯片。这个芯片我们从实际系统测试结果来看能达到78.4TOPs/W，还是相当高的。而且现在的工艺是130纳米，我们做了两个系统对比，左边是存算一体的芯片和系统，右边是用了树莓派28纳米的CPU，可以看到我们的速度，跑完一万张图片是3秒，他们是59秒，速度要快很多。准确率相当，能效比它高几百倍，同时有完整的芯片可以深入的分析各种模块的性能。

今年1月我们在Nature上发了文章，这个工作主要是我们把多个阵列放在一起组成一个系统，阵列和阵列之间怎么传数据，我们来验证是否能够用模拟计算实现一些AI的工作，我们提了新型的混合训练算法，也提出了新型卷积空间并行架构。

为什么忆阻器存算一体适合人工智能呢？因为交叉阵列结构特别适合快速矩阵向量乘法。存算一体的器件特性可以减少权重搬移带来的功耗和延时，有效地解决目前算力的瓶颈。另外，我们觉得人工智能是一个更关注系统组织性，而不是关注每个器件的精度，这特别符合忆阻器和模拟计算的特点，这是我们的认识。

最后讲讲我们最近的工作，最近神经科学界发现树突不仅仅是传输数据的功能，也有滤波和积分的作用，它在空间和时间上都可以对一些信号进行处理，也就是不是说的信号，不是缩短信号，从突触通过树突传到胞体，而是有很多信号在树突被过滤掉，我们希望把树突的概念引入到我们的神经元的结构里面去，我们相信这种结构可能会对神经网络的性能尤其能效大幅度提高。我们做了一个器件，我们整理了一下突触、树突和胞体不同的功能，我们还搭了一个系统，树突和胞体连在一起，我们也做了工作，这个工作已经被接收，希望尽快能发表出来。我们发现动态功耗能降低30倍左右，而且准确率还能提高。我们后来觉得注意力等等是不是也和树突也有关系。

总的来说，脑启发来设计人工智能芯片，我们写了一篇综述文章和毕国强老师合作，在去年Adv.Mater发表了将近30页的综述文章，大家感兴趣可以看一看。我们把大脑从I/O通道，到Synapses Neuro，到神经环路，到整个大脑的结构，我们和电子器件做了对比，文章题目叫《Bridging Biological and Artificial Neural Networks》，如果大家感兴趣可以读这个文章。

展望未来，希望也能够做一个存算一体的计算机系统，跟以前比，以前是晶体管加布尔逻辑加冯·诺伊曼架构，现在是模拟忆阻器加模拟计算和存算一体的架构，同样我们需要编译器、指令集等等，还有面向模拟计算的算法等等，上面的应用就不用太多变化。

分享三：《神经元稀疏发放在视听觉通路上的作用》

胡晓林 清华大学计算机科学与技术系副教授

2007年在香港中文大学获得自动化与辅助工程专业博士学位，然后在清华大学计算机系从事博士后研究，2009年留校任教至今。他的研究领域包括人工神经网络和计算神经科学，主要兴趣包括开发受脑启发的计算模型和揭示大脑处理视听觉信息的机制。在IEEE Transactions on Neural Networks and Learning Systems, IEEE Transactions on Image Processing, IEEE Transactions on Cybernetics, PLoS Computational Biology, Neural Computation, European Journal of Neuroscience, Journal of Neurophysiology, Frontiers in Human Neuroscience, Frontiers in Computational Neuroscience等国际期刊和CVPR, NIPS, AAAI等国际会议上发表论文80余篇。他目前是IEEE Transactions on Image Processing和Cognitive Neurodynamics的编委，曾担任IEEE Transactions on Neural Networks and Learning Systems的编委。

胡晓林：各位嘉宾好，各位在线朋友们好！非常荣幸今天有机会和大家交流，今天我分享的主题和前面两位嘉宾分享的正好相反，前面两位嘉宾讲的都是我们神经科学怎么样启发做新的器件，因为这个主题是AI和脑科学的交互，我来讲另外一个方面的工作，就是AI的发展，神经网络的发展，怎么样促进神经科学的研究。

我对神经科学和AI方面都比较感兴趣，两方面的工作都在做。今天主要是讲从AI到BI这方面的两个小工作。我今天介绍的内容和前两位嘉宾有点不同，前两位嘉宾讲的都是非常宏大，我今天只是介绍两个点上的工作。

神经网络和神经科学与大脑视觉皮层是有一定关联的

首先看一下背景。左边是视觉系统大致的通路，信息从视网膜到LGN到脑皮层。中间是听觉皮层，也是一个层次化结构，信息从耳蜗一直传到听觉皮层。右边是典型的神经网络。从图上可以看到，至少我们现在的神经网络和视觉、听觉系统有一定的相似性，至少是层次化的结构。基于这种相似性是不是可以利用现在神经网络的飞速发展来促进神经科学的研究，促进我们对大脑的视觉、听觉或者其他感觉皮层工作机制的理解呢？这是我们今天要重点讨论的问题。

这个方面的工作，比较早期的一个工作，是2014年MIT的教授他们做的一个工作，他们用一个神经网络，一个CNN去训练了一个图片分类的模型，然后同样的图片给猴子看，可以记录猴子不同的视觉区域，比方说V4和IT两个区域神经元的发放，最后去比较神经网络不同层和猴子的不同皮层V4和IT这两个区域神经元的相关性。发现不同神经网络层的神经元反应的特点正好对应猴子IT、V4区域反应的特点。这是第一次证明神经网络和神经科学和大脑视觉皮层是有一定关联的。

这是一个神经科学的发现，我们先简单介绍一下这个神经科学发现，然后对比一下。这是2013年纽约大学的一个工作，他们做了一个实验，让猴子和人去看两种不同的图片，这是从原来的自然图片通过算法合成的两种不同的图片，中间的比较像自然图片，右边是噪声图片，不完全是噪声，是从自然图片合成的噪声。然后给猴子这两类图片，NT是中间那一列，SN是右侧一列，V1区域记录猴子的发放，发现V1的神经元对这两类图片的反应差不多，基本上分不开。但是到V2神经元对于NT一类的图片反应高一些，对于SN类的图片反应低一些，也就是在V2有一个区分。他们定义了Index，一个神经元的Index如果越高，就说明这个神经元越喜欢比较上面的图片，那个图片从数学定义上来讲是含有高阶统计特性的图片，时间关系，不展开讲它具体的数学定义，什么叫含有高阶统计特性。总而言之V1区域，所有的神经元的Modulation Index都集中在0附近，在0左右对称。在V2，大部分神经元的Modulation Index都是正的，也就是大部分的神经元都是喜欢这种比较像自然图片的图片。

2015年的时候日本的一个研究小组在另外一个区域，就是猴子的V4区域，他们发现了同样的结论。V4的神经元相对V1来讲，他们更喜欢具有高阶统计特性比较像自然图像的图片，而不是噪声。

为什么会又有这样的结果？为什么V2和V4的神经元他们喜欢像自然图像的图片而不是那种噪声呢？为了研究这个问题，有两种选择，一种是用传统的计算模型，计算神经科学领域早期的模型都是单层的，现在为了研究这个问题显然单层模型没有办法的，因为研究的是视觉皮层的高级皮层，如果没有下面的这些层，上面就没有办法研究，所以需要一个层次化的模型，所以我们考虑用深度学习的模型来研究这个问题。

这是我们的模型，我们构建了这样一个模型，这是很标准的深度学习模型，有输入输出，我们用同样的方式从自然图片中创造出一种像自然图片的图片，一种是噪声图片，这个噪声不是随机噪声，它也是具有一定语义的，但是它和像自然图片的图片有所不同。我们把这两类图片输入到模型里面去，然后记录每一层神经元的反应。我们也可以定义每个神经元的Modulation Index，这个Modulation Index比较大就说明这个神经元比较喜欢具有高阶统计特性的图片。

结果非常有意思。有三行，第一行是AlexNet，第二行是VggNet，大家如果做深度学习的话是非常熟悉的，这两类非常典型的卷积神经网络。这两个神经网络有很多层，我们把他们分成五个大层，AlexNet本身就有五个卷积层，Vgg因为中间有很多max pooling，以此为界可以把相邻的几个卷积层分成一个大层，总共也会有五个层，统计每个大层的Modulation Index，就是蓝色的柱状图，基本上随着层数越高，它的Modulation Index越高，右边的图显示的每一层，Modulation Index的分布，可以看到在LAYER1的时候，Modulation Index集中在O，左右差不多对称，越往后面去，Modulation Index越来越正，最后大部分集中在1，也就是说比较顶层LAYER5大部分神经元就是特别喜欢高阶统计特性的图片。下面还有一个网络这是一个无监督模型，我们叫它SHMAX，它的结构跟上面两个结构基本是一样的，唯一区别是它的学习是一种无监督学习，我们可以得到同样的结果，蓝色柱状图和后面的Modulation Index分布都是一样的结论。刚才最后的模型，每一层的学习是Sparse codind，Sparse coding的公式在这儿，我想很多朋友应该听说过这个模型，这是经典模型，1996年就提出来了，这是一个无监督学习模式，也就是对于图片不需要监督，就可以进行学习。我把这个模型堆叠很多层，先学一层，把它的输出作为下一层的输入，在下一层继续用同样的过程进行学习，就可以得到刚才说的第三个模型。

也就是说对于有监督学习模型和无监督学习模型，他们的Modulation Index都是随着乘数的增加而增高的。到底是什么样的因素导致了这些神经网络具有这样的特性，我们考察了很多因素，最后我们发现，Response Sparseness非常重要，它跟Modulation Index成正相关的关系，比如我们看AlexNet、VggNet、以及SHMAX，你看他们的稀疏性Sparseness，你给它看很多图片，很多时候神经元是不发放的，因为它有一个ReLU，有些时候是不发放的，有些时候是发放的，Sparseness定义的是神经元在多大的比例是不发放的，可以看到随着层数上升，Sparseness会越来越强，正好跟Modulation Index趋势差不多，我们做了对照实验，AlexNet每一层的稀疏性越高，Modulation Index也会越高，SHMAX也是一样，稀疏性越高，Modulation Index就会越高。

简单总结，我们通过三个深度学习模型上发现和猴子视觉皮层高层反应特点类似的一个结论。当然也可以做一些预测，时间关系，这些模型预测我就不讲了。

稀疏发放的特点和神经科学的发现是呈正相关的关系

第二个工作，这是一个关于听觉的。刚才已经提到听觉皮层也是层次化的结构，人们在听觉通路上也发现了很多有意思的一些结果，比如说在耳蜗后有一个nerve fiber（59：03），你给它一些刺激，它的反映特别是呈这样的小窝的形式，在下丘这个地方，这些神经元它们的感受也是可以测出来的，横轴是时间、纵轴是频率。在听觉皮层，人们发现在皮层里面有很多神经元或者有很多Local area，他们可以特异性的一些音素比较喜欢，音素是比音节更小的单元，比如“a”里面有辅音“b”，元音“a”，元音辅音这些东西又叫音素。

作为计算能力科学怎么解释这些结果？计算机科学已经用Sparse coding解释了nerve fiber 和下丘（IC）的神经元的反映情况，具体是这样的，这个模型还是Sparse coding模型，X是输入、S是Response，如果你的输入不再是图片如果是语音，最后解出来A，A是每个神经元的感受野，它就长成这样小波的形式。在IC区，用同样模型只是把输入改了一下，输入不再用位子格式的输入，而是进行视频转换，输入频谱图，把频谱图当成X，再去求解一个Sparse coding模型，就会得到神经元的感受点也呈这样的形式，神经科学家已经发现IC区的神经元的感受点的形状就是长这样。

前面两个层级的神经元的反应特点已经被解释了，第三层级，就是最高层，这个现象怎么解释呢？核心含义是给病人插一些电极，做手术的病人插一些电极，可以发现有些电极特别喜欢d、g、e、h、k、t这几个辅音，有些电极喜欢摩擦音，还有的喜欢元音o、e、i。总而言之他们发现在人类的Quarter上面，神经元对音素有特异化的表达，这种表达是怎么出现的呢？就是我们要回答的问题，我们为什么有这样的表达。第二个问题是前面比较低的皮层用Sparse coding解释了他们的现象，同样的Sparse coding模型能不能解释高层的现象呢？为了回答这两个问题我们做了层次化的稀疏编码模型，典型的CNN结构，只不过我们每一层的学习不再用BP算法，而是用Sparse coding，第一层学习完以后再学习第二层，第二层学完以后再学第三层，就这样从底层一直到高层学习，我们的输入就是时频格式的信号。

有意思的是，构建了这样的层次化的稀疏编码模型，我们把靠中间的层拿出来，S2第二卷积层，把这个地方的神经元的感受画出来，可以看到这些感受野和神经科学家在下丘测出来的神经元的感受野有类似的形状，这些感受野的形状参数的分布也和在猫的下丘这个地方测的参数分布是一致的。最有意思的是到顶层以后，我们发现顶层Layer C6，这里很多神经元特异性的喜欢一类音素，比如B、P、L、G，还有一些神经元喜欢元音，a、o、e。而且聚集效应在顶层最明显，在下面这些层也有，只不过这个效应低一些，数值越低就是说它的聚集效应低一点。也就是说这个模式并不是陡然在顶层出现的，其实下面的层级也出现了，只不过神经科学家们没有测到下面那些区域神经元有这样的表达，当然这是我们的推测。

总结一下，我们发现一些深度学习的模型在中层和高层这些地方，这些神经元的反应和视觉和听觉的中层和高层的真实的神经元的反应有一定的一致性，这个结果并不是一个非常Trivial的结果，我们并没有尝试Fit数据，所有的学习准则要么是使得分类的准确率高，要么是使得重建的输入准确，并没有Fit任何生理学的数据，但是就是出现了这样的特性，所以我们觉得这样的结果还是非常有意思的。第二个结论，稀疏编码，前面研究的这些深度学习模型都有一个稀疏发放的特点，而且稀疏发放的特点和神经科学的发现有重要的关系，当然这些深度神经网络去研究神经科学的问题也是存在巨大的缺陷，就是他们模型的细节结构和生物上的系统还是存在着非常大的差异，所以没有办法用很粗糙的学习模型去研究细节的神经科学的问题。

感谢大家！

讨论环节

山世光：谢谢胡老师给我们分享了两个非常具体的案例，试图去建立AI特别是深度学习模型和我们脑的神经网络之间在某一些层面的一致性。

再次感谢三位嘉宾的精彩分享，接下来我们进入嘉宾讨论环节。

我们今天的讨论嘉宾除了刚刚已经给大家介绍过的作分享的三位老师外，我们有幸邀请到三位讨论嘉宾，他们分别是来自北京师范大学认知神经科学与学习国家重点实验室的毕彦超老师，来自中国科学技术大学神经生物学与生物物理学系系毕国强老师，来自北京大学信息科学技术学院长聘教授吴思老师。

毕彦超：我是来自北京师范大学认知神经科学与学习国重的毕彦超，谢谢山老师和未来论坛的邀请。

我自己做认知神经科学研究，我觉得整个论坛做认知或者整个领域国内做认知的相对少一些，所以请允许我稍微介绍一下我们整个主题。我们关注人的认知功能的脑基础，我们实验室关注的核心问题是物体识别和知识的存储。

我们关于大千世界有各种各样的知识，比如简单的，剪刀有什么功能？玫瑰有什么颜色？最近我们学到的新冠病毒是什么？都存在大脑当中，记忆系统的一部分叫语义记忆。有了这些知识信息我们才可以做各种各样的认知功能，我们可以识别物体，理解词的意思。我们实验室特别关注这种知识，在记忆里面存储在大脑什么地方。以什么样的形式，编码什么样的信息。我们关注人的高级功能，拿各种各样的人群做实验。比如正常人，把他放在核磁机器里，让他做知识提取加工任务，看大脑活动模式是什么。先天盲人和聋人，完全剥夺视觉和听觉的经验，看对大脑的知识和理解有什么样的影响。

我们还做各种各样的脑损伤病人，破坏大脑各种各样的地方，看对什么样的知识缺失。我们发现很多有趣的结果，很期待和AI领域的各位同行和朋友去交流，很想试一试我们的新发现和思路。

我是默默关注AI很多年，我一直受认知心理学训练，在我早期念书的时候，AI早期的理论模型、PTP模型，都是天然的一些认知心理学的模型。后来自己工作关注到大脑的机制，发现中间有很多年的鸿沟。前些年机缘巧合参加了AI两个主要领域的会议，机器视觉和自然语言处理，发现很大的领域这么多人，用和我们非常相似的词汇，但是其实做非常不同的事情也有很多不同的视角。所以这些年我也尽量学习和了解AI领域对我们相似的问题的理解和思路，对我自己有很多的启发，同时我也觉得我们对人脑认知计算的很多新特点的发现，AI领域真的应该过来试一试，很好玩，所以非常有兴趣参加这种跨学科的交流活动，谢谢未来论坛。

毕国强：非常感谢世光老师、华强老师与论坛的邀请，非常高兴参加这次跨界论坛。我现在研究的工作和教书都是神经生物学，我自己本科是学物理的，跟AI还是有一些特别的渊源。1988年左右，赵凯华老师组织过一个全国人工神经网络研讨班，我跟着赵老师和他的研究生在研讨班上做记录，当时就觉得非常神奇，然后就特别想要了解一下大脑神经网络是怎么回事儿，于是研究生的时候就开始学生物，算是一个曲折的经历。

我们现在做的神经生物学工作与刚才华强、华锦老师都提到突触可触性有关，我关注的主要是学习记忆的规则和机制，这也与AI有关。AI之所以有这么强的威力，一个根本原因就是它的学习能力。我们研究大脑的学习和记忆主要关注两个层次，一个是在突触的层次，一个是在大脑神经网络的层次。在突触层次上，可塑性是一种局域规则，比如我们研究的STDP，刚才两位老师也讲到过，是在生理条件下很多系统里大家也都观测到的规则，也应用在许多计算神经科学和脉冲神经网络模型里。但实际上的STDP和脉冲神经网络的应用还不是很成功，它的性能一直很难上去。我个人对这方面的理解是STDP作为一个生物学规律的描述还不是非常完善，比如在不同类型的神经突触甚至同一类型的神经突触的不同状态下，STDP规则都可能很不一样。这样的话如果我们只是简单应用同一个简化的规则，确实可以理解会遇到很多问题。而完整的规则对于实验神经生物学家来说是一个很大的挑战，原因是我们仍然缺乏对可塑性机理的深刻理解，而这在一定程度上是由于实验技术的局限。

最近十来年我们做的事情是尝试发展和应用新的微观成像技术，包括最新的超分辨光学显微和冷冻电镜技术来看突触到底是什么样的，将来再进一步去看它在可塑性中发生什么变化。另一方面在发展新的工具来看更大尺度上大脑神经网络是什么样的，我们最近这几年发展了一个新的高通量脑结构成像方法，可以很快的把一个鼠脑的神经元和全脑尺度的连接三维结构很快拍出来，这样的一个工具也让我们能够开始探讨动物在某些行为下的神经活动的印迹，再反推神经活动和行为之间的关系。我们正在深圳建设科大和深圳先进院的联合研究中心，叫脑信息中心，在那里我们希望通过这些不同尺度的成像方法来探索脑结构和功能的大数据信息。这些数据的进一步分析，也需要AI的方法，而从这些分析得到的结果，也希望能对AI的进一步发展提供素材和启发。这是我们做的事情，谢谢大家。

吴思：我先介绍一下自己，我是来自北京大学的吴思，我的研究方向是计算神经科学。简单说，计算神经科学就是用计算的方法来研究脑科学，很显然这样的研究会有很多附产品，可以启发我们发展人工智能的算法。

我课题组目前有50%的精力在做计算神经科学，另外50%做类脑计算。目前比较关注的课题包括：神经编码的机制与模型，如大脑表征信息的正则化模型，大脑如何做贝叶斯推理，以及多模态信息整合的问题；另一个大的方向是关于视觉信息的加工机制，如神经反馈的作用，皮层下的视觉通路计算功能，以及皮层上和皮层下通路之间如何实现信息融合。另外，我们也做一些脑启发的类脑计算研究，如用连续吸引子网络大脑实现物体跟踪，尤其是在加入负反馈的情况下实现预测跟踪；同时受皮层下视觉通路启发，我们也发展一些算法，可以做运动模式的识别、物体全局信息识别等，这些都太细节，这里就不详细介绍。

首先感谢未来论坛的邀请，今天的主题是关于AI和脑科学之间的关系。在很多不同的场合总有人问我这个问题。从大的方面说，AI就是我们要创造一个人工的智能体，这是个工程问题；而脑科学，尤其脑科学中关注信息处理的研究，是要解析生物的智能体，这是一个科学问题。因此，AI和脑科学的关系从某种意义上说就是科学和工程的关系。在AI中，大家最近经常强调深度学习的有可解释性，就是我们要打开深度学习网络的黑箱，这其实也是脑科学研究一直在干的事情，只不过打开的是生物体智能的黑箱。两者都是在干同一个解析智能的问题，一个是从工程的角度我们怎么去创造一个智能体，而另一个是从科学的角度去解析大脑的工作原理。因此，两者之间的互动和互补是很显然的。一方面，大脑是自然界已经存在的智能体，我们了解它肯定能够帮助AI发展；另一方面，创造AI也有助于我们真正了解生物智能。有一种说法是了解一个事物，最佳的方法就是你去制造它。

AI和脑科学互助从逻辑上说是非常自然的。大脑是宇宙中已知的最好的智能体，发展人工智能当然要从大脑中去学。脑科学的确已经给了AI启发，但目前还远远不够。从我自己的研究经验看似乎经常是AI帮助我做脑科学，而不是脑科学对AI有什么帮助。这个问题出在什么地方呢？一个很大的问题是吴华强老师刚才说的，现在的算力不够；即便计算神经科学发展了一些好模型，如果没有很好的算力，就实现不了，体现不出脑启发的优点。此外，我觉得还有两个问题经常被大家忽视。一是目前AI的应用其实关注的任务相比我们人脑的高级认知功能来说还是太简单。比如AI的很多应用涉及的核心任务是目标识别，但大脑在我们日常生活所面临的计算远远不是简单的目标识别。当AI应用以后走向更复杂的任务，可能脑科学能够提供更多的帮助。还有一个问题涉及当前实验室科学的研究，计算神经科学要根据实验数据，但当前的实验范式通常都太简单了，比如对猴子呈现一个简单的刺激，然后记录大脑内神经元怎么反应，即便我们把整个计算过程揭示出来，它对我们认识大脑的高级认知功能还相差很远。所以实验科学家也要加把劲，把整个实验范式设置的更复杂，更多揭示大脑如何实现高级认知功能，在此基础上计算神经科学的建模、以及发展的算法才能对AI有用。

第一：脑科学已经为AI发展提供了什么思想、方法和技术？有哪些典型案例？

吴华强：我们最近刚刚做一个树突计算的事情，我们最开始做，其实是我们看一个器件和树突优点相似，过去神经网络里只有神经元和树突，树突在神经元里面不体现，也就是所有的突触的信号都传到胞体上和neuro上来了，然后Neuro再做integrate/fire。我们发现有一些忆阻器和我们的突触不一样，可能有积分功能和过滤功能，后来就跟吴思老师、和毕老师讨论过，觉得和树突有点相似，我们就开始研究树突能不能做一个Electronic dendrite Device，后来发现很有意思，人的大脑里突触很多，突触的很多信号如果都传到胞体上，胞体就崩溃了，就分掉了，这是我猜测的。

不是所有的树突都传到胞体上去，它空间上会group，而且时间上也会做一些group。很多信号，70%、80%的信号突触上产生的并不传到胞体上来，它只把重要的信号传过来，接近胞体比较近的树突那边有一个负的结构，这种结构对我们神经网络是不是可以大幅度的提升，神经网络是不是可以引入一个轻的树突，就把有一些突触的Synapses weight，它和多加一层（神经元）不一样，多加一层“W…”（神经元）就要多加一个层weight（权重），树突其实和Neuro Soma是紧密结合的，一个胞体，一个Neuro有很多个树突，是固定连接。如果引入树突，会不会让我们整个计算更加准确。甚至我们的注意力也和这个有关系。后来我们做了一点工作，把突触和树突和胞体，在实验场连在一起，做一个小的系统，发现还挺有意思的。一方面对SVA圈数据集，街边的数字，门牌号进行识别，发现准确率提高了，动态能效提高30倍。这是举个例子说通过对脑科学理解让AI网络更加提升。

山世光：这是挺有意思的一个话题，刚才说到猜测树突是不是有滤波的功能，过去我们说MCP的神经元模型里面是一个积分，你是不是相当于对每一路的输入又有一个滤波，是又加了一层滤波吗？

吴华强：就是那个器件可以对它进行过滤，我介绍的器件并不是百分之百把树突功能都模仿了，也许在做新的电子器件，网络架构上可以发生变化，去年10月我到美国访问MIT，它的实验室有一个教授做的报告就有树突计算的，我听了一下，他有一个观点，树突的长度和智慧是有关联的。他说老鼠的树突多长、人的树突多长，智慧和树突的长度有关系。也许给我们AI带来很大变化。

毕国强：华强老师说的树突计算非常有意思，我听到华强的结果也非常兴奋，最后的效能提升是由于什么原因？是不是树突的滤波性质或树突本身的构架？这种构架可能把突触变得不太一样，一般人工神经网络构架中每个突触的基本性质是一样的，树突构架可能引入了异质性。另外，树突结构本身的层级结构的复杂性也可能会对最终产生的计算能力有一些影响。关于异质性，我刚提到的突触可塑性，STDP应用到人工神经网络效果不好，一个可能的原因就是异质性。所以华强的这个工作，把树突结构加进去，非常值得进一步看到底是哪些特征产生了这些性能的提升或者改变。

当然从哲学层次上来说，生物的大脑和神经系统是很多年进化的结果，是经过自然选择，证明是能够Work的东西。但这里面又有多个尺度上的复杂性，从最小尺度上，即使只是看突触不到一微米大小的设备，其实真实的突触非常复杂，然后到环路、到整个大脑的结构。我们去模仿大脑，可能在不同尺度、不同层次上都可以获得不同的启发。这个时候关键的一点是我们从中得到的东西要分析出来是哪些特性能够对AI起到正面的作用。我觉得短时间内要全面地模仿大脑肯定是不现实的，所以我们需要从复杂的层级结构中抽提出关键特性一步一步模仿。

第二：从脑科学可以转化到AI来的，大家可以不可以分享一些更好的案例？

胡晓林：刚才的问题是问脑科学已经为AI提供了什么样的帮助，有很多工作其实是从脑科学启发过来，追根溯源到1943年，麦克和皮茨这两个人第一次提出人工神经元MP神经元，如果没有他们提出人工神经元，后面的这些CNN等等都是不存在的，他们其实是做神经科学的，他们尝试发明计算模型并解释大脑的工作，他们提出了这种逻辑运算的MP神经元。后来Rosenbaltt把MP神经元扩展了一下，得到了多层感知机。后来在1989年、1990年的时候Yan LeCun等人提出来CNN，当时是受了Neocognitron模型的启发，Neocognitron是日本人Fukushima提出来的，我真的找过他那篇论文，Neocognitron的结构和现在CNN的结构一模一样，唯一区别是学习方法不一样，Neocognitron在1980年提出来时还没有BP算法。Neocognitron怎么来的呢？它是受到一个神经科学的发现，在猫的视觉皮层有简单细胞、复杂细胞两种细胞，从这两种细胞的特点出发构建了Neocognitron尝试去解释大脑怎么识别物体的。后来才发展到CNN。MP神经元和Neocognitron这是两个具有里程碑意义的方法，这是很典型的神经科学给我们AI的启发的工作，甚至可以说是颠覆性的工作。

坦白说到这次神经网络、人工智能的腾飞，这次腾飞期间我并没有看到特别多令人非常兴奋的脑启发的工作，我本人也做了一些这方面的工作，发现目前一些受脑科学启发的计算模型好像都没有我刚才说的那两个模型的意义那么大。希望这个领域能出现一些新的脑启发的方法，哪怕它们现在的性能非常差，但是十几年、几十年以后，它们也许会成为奠基性的工作。

山世光：SNN还需要时间再去进一步观察，因为目前还没有到那么强大的地步。吴华强老师做存算一体，不知道很可能会成为未来值得关注受脑启发做计算的模型。

胡晓林：有可能。

毕彦超：我们了解任何一个智能系统，比如戈登摩尔，我们非常喜欢的一位计算神经科学家说，了解任何一个智能系统，要从三个层次看:计算、算法和实现。我听到刚才大家讲的，借鉴的大多都是在实现层面的，包括硬件、底层、神经元，等等。我觉得在计算和算法的层面上，对于这两个基本机理完全不同的智能系统，计算和算法有很多可以参考的地方。我觉得目前没有看到这方面的界线，我会觉得认知神经科学或者认知心理学是一个宝藏。刚才吴老师也提到在视觉加工的时候，至少人脑和猴脑的视觉绝对不仅仅是识别这个标签就可以了，是为了正确规避的反应，有社交的功能。我们已经在人和猴子的高度视觉皮层能够看到非视觉，比如对标签的运动皮层的不同反应作为它的塑造作用。刚才吴老师和毕国强老师都提到，人的condition并不是特定的single purpose，而现在AI的计算很多是特定的purpose，但是并不等于人或者其他动物目前所谓的最优解，肯定看我们想要达到什么样的目的。

我举一个简单的例子，我做知识存储，在AI里面知识存储全都从文本来，但实际上神经科学，知识存储，更主流的观点是从感知经验来，从视觉来、从听觉来，跟视觉去互动来。我们最新的工作是发现在人里面这两项都有，而且是独立的存在。AI里面，大家经常会问，常识性的知识怎么表达，一直是个很大的挑战。我们说人脑在神经科学的研究有这方面的答案，从我们感知和运动，与视觉的互动当中来。刚才说借鉴的成果，我会觉得Implementation我看到很多令人激动的已经很好的成果，我还蛮希望人和我们交流，我会觉得有很多宝藏。

第三：AI怎么助力了脑科学的发展， AI对脑科学的发展有什么典型的帮助？

吴思：我们要看我们怎么定义AI。如果泛泛的包括信息理论、动力学系统分析、统计学习等，那么这些都是计算神经科学每天在用的工具，它们一直在助力脑科学的发展。如果一定要强调最新的，比如说深度学习，那么如何将AI用于脑科学是目前的一个研究热点。国际上有多个组，也包括清华的胡晓林老师，大家把视觉系统当成一个深度学习网络，然后训练这个深度学习网络，同时加入一些生物学的约束，然后用对比的方法看这个系统能学习到什么，进而回答生物视觉认知的问题。

山世光：我们看到一些工作也都是在验证，深度网络和人的大脑之间似乎在层上有一定的对应性。

唐华锦：我补充一下吴思老师讲的，在传统上AI提供了很重要的大数据分析工具，视觉神经、视觉皮层，现在的AI提供了很重要的大数据工具，尤其是在高通量的脑成像方面，建立非常精细的脑模型，AI大数据起到重要的作用。还有实时的脑活动的分析上，比如斑马鱼的活动，如何同时实时记录以及把这些神经元的活动匹配到那些神经元上，这是大量AI深度学习帮助脑科学家在分析数据、统计数据上，包括三维重建，包括树突、轴突之间连接的结构也会起到非常重要的作用，AI还是提供了很好的工具在深入的解释上面。

胡晓林：我接着吴思老师刚才的观点和大家分享，吴思说现在国际有一个热点，用深度学习的方式去研究以前在生物学实验当中的结果，在这个模型当中能不能出现这个结果。我想说的一点，这是第一步，我们首先要来看一下深度学习模型是不是具有这样的特点。如果发现它具有这样的特点，你能干什么。深度学习模型是你自己构造的，这个模型你所有神经元都可以测。不像生物体会受到实验条件限制，有些地方测不到。这个模型是你自己构造的，所有神经元的特点都可以测。如果有了一个等价模型，在等价的人工智能模型上做一些实验和解释，做一些原理性的探索，会比在动物那种“黑箱”上做容易一些。

我给大家再分享一个话题，去年的时候MIT有一个组，DiCarlo实验室，刚才提到了他们2014年的工作，他们去年有一个更进一步的工作，在猴子的高级皮层，神经科学家很难用一个刺激让这些神经元能够以一个很大的发放率去发放。如果做实验的话会发现，越往高层就越难让一个神经元发放。为解决这个问题他们做了一个实验。他们先构造了一个神经网络CNN，然后把中间的某一层L3层取出来和猴子V4区域的神经元反应做简单的映射，这个映射可能是一个小网络，然后学出参数。学出来之后，他们认为从视觉刺激（这只猫）到你的眼睛通过L1、L2、L3再到V4这是一个通路，这个通路上经过的是人工神经网络，而不是真正的生物系统，真正的生物系统是下面的通路，看到这只猫然后经过V1、V2、V3最后传到V4。所以他们其实构造了一个视觉通路的替代模型。你可以通过这个替代模型，这个神经网络，用BP算法反求一个刺激，使得V4区的神经元反应最大，最后发现反求出来的刺激像下面这张图的样子。然后再把这些刺激给猴子看，去测V4区神经元反应是不是最大。发现V4区的神经元反应远远超出以前用任何刺激所带来的反应，也就是说如果不用他们这种反求的方式去做刺激，用自然数据是很难让这个神经元发放这么强烈的。这个就解决了他们做生理学实验的一个痛点。我和做听觉的老师聊过，他们在猴子的听觉皮层发现大部分神经元都是不反应的，很多人觉得猴子的听觉神经元不是干听觉这件事的，很多人想不通为什么这样，我觉得可能是我们没有找到合适的刺激。

毕彦超：我想补充一句，用AI来理解大脑的事情，吴思老师也提到我们很费力的想把黑箱打开，我理解AI最近的潮流，包括最近讲的DNN很多时候是把黑箱合上，比如模拟的很好，如果只为一个模型，跟我的神经模拟的很好，或者可以操纵的话，并不等于它就是这样的。并不是说这个没有用，而是用它理解大脑的时候，比如我们多找一些不同的模型去对比，才会有价值，才有可能为理解稍微添更多的证据。

山世光：这本身对AI，我们现在深度学习的模型也是一个黑箱，在过去三年里AI领域已经把AI的可解释AI或者XAI这个研究问题突出出来了，很多人做了非常漂亮的工作解释黑盒子模型，我相信在接下来的时间里肯定会有更多的发展。这个话题还有哪位老师发言？

毕国强：我再补充一句，刚才几位老师已经说的非常透彻了，AI在脑科学研究中能够起到很多助力作用，从基本的大数据分析到更高层次的模拟，对大脑的模拟。在最后一步，对大脑的模拟有不同深度，早期的人工神经网络以及现在很多深度神经网络所模拟的只是神经元和突触连接的一些非常基本的性质。用这样简单的性质来模拟大脑，能够得到的一些似乎和大脑里面发生的类似的现象，这确实反映了非常根本的机制。但是很可能很多事情是没有办法用目前的人工神经网络来解释的，这时候需要用进一步的模拟，也可能叫计算神经科学的模拟，刚才吴思提到AI和计算神经科学没有本质上的严格边界，这种更深层次模型通过加入更多的脑神经系统的特性就可能模拟神经系统更多的行为，然后可以再反过来看哪些性质是哪些行为必须的。当然最后这还是一个大脑理解大脑的复杂性问题。

第五：我们面临的是两个黑盒子，深度学习和大脑这两个黑盒子怎么互相对比？能不能把这个黑盒子打开？

吴华强：我们可以用人的大脑去研究老鼠的大脑，我们可以先从简单的东西研究起，我们不能打开自己的大脑，我们打开别人的大脑。

山世光：脑科学研究需要什么样的AI技术来解决什么样的前沿脑科学问题，哪位老师就这个话题再说几句。

吴思：我特别期望望神经形态研究的发展，就是唐华锦和吴华强老师他们将的东西来帮助来帮助计算神经科学的发展。我们研究脑科学，提出了各种模型和机制后，如果有一个类脑的硬件系统验证一下，就能更好证明这个机制和模型是否生物学合理，能否在AI中得到应用。

第六：我们还有一个话题关于人才培养，这是未来论坛秘书处觉得非常重要的话题，我们看哪位老师对交叉学科培养有经验或者想法？

毕国强：这是非常重要的，可能目前整个领域，尤其是在国内发展的真正瓶颈，就是怎么样培养更多的交叉学科的优秀人才。这是一个很大的挑战，因为真正的AI-脑科学交叉学科人才可能需要对两个学科都要有充分的把握，而这两个学科都是很难的学科，计算机科学、神经生物学都很难，而且它中间重叠的部分又不多，不像是计算机和应用数学，或者生物学和化学相对容易一些，如果想把AI和脑科学这两个连在一起，你需要几乎双倍的专业知识。国外有很多值得借鉴的经验，但最关键是需要鼓励青年人追求自己的兴趣，你如果感觉大脑很神奇或者AI很神奇，真的想研究它们，理解它们，那就花别人双倍的力气把这两个学科都学好，这是最重要的。我读物理研究生时很容易，英语听不懂照样去考试，但读生物研究生的时候发现不光英语听不懂，翻译成中文也听不懂，我只拿录音机录下来，仔细查，把所有东西一点一点搞清楚，这样花了一个多学期的时间之后，就开始真正能理解生物学家说的话，可以开始去做这方面的研究。另一方面，国内很多课程设置有专业限制，不同专业间的壁垒还是很大的。在生物系和计算机系这两个学科的要求差别非常大，这时候需要设计真正的交叉学科的课程体系，科大在这方面做过一些努力，比如温泉老师教物理系学生计算神经科学的课，深圳在建的中科院深圳理工大学也希望建立AI+脑科学的智能交叉学科专业方向，建成培养交叉学科顶尖人才的机制。我想后面会慢慢好的，大家在北大、清华、浙大，在这方面都有很重的责任。

毕彦超：刚才毕老师讲的太好，我自己会思索，不光是对人才培养，对我们每个人都是一直的挑战，我们参加这个论坛，已经可能是自己领域的异类。跨学科有很多特别不容易沟通的地方，虽然用同样的词，其实是固守一些成见，按照自己学科的思路去想。刚才吴思提到一点，脑科学很多是科学的思维，AI很多是工程思维，我会觉得在沟通过程中我们都会碰到一些壁垒，这时候怎么更开放，思考背后大家真正关心的大问题，而不是当前具体某个小问题，特别的重要。所以在人才培养，我想说自己没有成功的经验，但是我一直在招博后，如果有感兴趣的听众。

山世光：我今天早上还在看心理所要设计本科专业，课程体系里我看到人工智能的课他们有一门，我就在想这个人工智能的课谁来讲、讲什么，对他们来讲前面没有计算机变成课，上来就有人工智能，给心理所的人讲，确实课程体系建设方面有有非常多的地方需要努力。

唐华锦：浙大这边新招的人工智能专业本科生专业设置了AI+脑科学的交叉课程，在推动培养新一代的AI+脑科学方面的交叉人才上已经在布局，相信清华、北大也有类似课程的设计。

胡晓林：我个人认为在毕老师你们那儿开人工智能课，前面没有编程基础，上来就讲人工智能很难的。我觉得反过来，如果在信息科学这样的院系开设脑科学相对来讲应该是比较容易的，因为就我这点不成功的经验来讲，学神经科学可能不需要特别系统的、像数学、编程那样要经过好几年的培养。浙大这样的做法可能是比较好一点。在我的课题组，我是鼓励同学们做一些脑科学的事儿，但是目前为止不是特别成功。现在计算机信息学科的学生更加关注的还是AI，偏纯AI，技术本身。这是另一个方面的困难。

山世光：也不容易，我本人也学了好几年，现在刚刚能做到脑科学、神经科学说的词汇我基本能理解，但是更深刻的思考也做不到，感觉也不是那么容易。

胡晓林：要真正有兴趣，真的觉得这个东西不解决，AI这个领域可能也没有特别大的发展。

山世光：还是要投入双倍的时间和精力。

现场问答环节

第七、 大脑如何完成学习-记忆融合的？能不能稍微展开讲一下。

唐华锦：因为时间关系我简单陈述一下。这涉及到我们对记忆的理解问题，首先记忆通过神经元的群组编码实现，比如对某个概念，必须有一组神经元对这个概念进行表述，这组神经元就要通过学习对这个概念进行响应，比如通过快速学习，这个神经元群组之间要加强它们之间的连接。把这个概念和另一个概念之间，如果它们之间存在联想关系，不同的神经元群组间要形成一个新连接，这个连接要把不同概念联系起来。群组内的神经元连接以及群组间的神经元连接都要通过学习方式实现。要么通过无监督STDP学习规则，或者通过有监督的学习规则来实现学习和记忆的融合。

山世光：华强老师在做存算一体，不知道是不是更重要的是“学算、学忆一体”更值得做。

吴华强：这个问题问的很好，看学算怎么定义，我们现在做的这个工作，是可以Chip上做学习的，也就是它可以改变位置可以学习的，而且我们芯片上也实现了。

第八、如果就一个神经元来讲，它怎么学和记忆一起，现在MCP模型是没有记忆力的。

吴华强：如果现在突触在生物上会不断变化，因为通过学习它会变化，电子器件也是一样的，比如我现在存的值10欧姆，新的学习过来之后把它变成12欧姆或者9欧姆也是可以的，通过变化就实现了它的记忆。当一个芯片真的能够比较智能的话，集成度是比较关键的。比如10个突触，现在每个的变化、离散性都会大幅度影响系统准确率，如果芯片集成10亿个器件，其实单个器件就不会有太大影响，这块要找数学理论家合作，在理论上怎么证明器件的离散和整个网络的准确率的关系。

我刚才在聊天时已经回答了，忆阻器阵列可以做乘加，电流需要转化，总得来说是需要的，但是如果每个阵列都做ADC转化成本有点高，芯片里面时间其实是很快的，都是纳秒级计算，比大脑快多了。更关键的是用了很多ADC导致芯片面积比较大，会导致它的能耗比较高，所以我觉得一部分可以做模拟信号传递，一部分可以做数字信号传递。这是回答这个问题。

激活函数可以通过硬件实现，我们现在做的函数是用CMOS去做的，但是也有人单个器件去做激活函数的事情，用新的器件去做。但我们是要把它集成更大规模的芯片，所以我们用CMOS去做。

第三个问题，跑完整的AlexNET还没有跑，我们下个芯片会做这个事情。我们之前做的芯片集成度规模只有几十万个规模，下一个芯片的规模是几百万，再下个芯片达到更大规模，在几百万里就可以跑AlexNET，目前讨论结果还可以，但是还需要在芯片上跑出来。

第四个问题，目前忆阻器，目前来讲它的算法有乘法和加法，整个计算特别适合做矩阵计算，当然要配合别的输入输出，还有存储和编码这都是需要的，而且硬件上来讲，我的阵列是固定的，算法是千变万化的，需要用编译器或者算法支持去把千变万化的Layer Breakdown到我的固定阵列上。

第五个问题，关于存储墙问题，在探究提高存储器存取速度以及传输上，到第6层就到头了吗？如果继续增加层数，预期会有什么结果？新的存储器也是可能会有的，比如现在新的MRAM和新的其他东西，它其实有它的优点，和现在的DRAM比，其实DRAM是很快的，速度足够快，最大的问题是架构上的问题，再快比不过M…（02：24：52），小于1纳秒，目前还没有发现比它更快的存储器更快的速度。

我刚才讲的两个瓶颈，速度慢、功耗大的问题目前没有找到非常好的芯片去解决它。

第九、有没有人研究好奇心是如何产生的？机制有什么办法度量它。

毕彦超：简单的答案，我自己不知道。传统比较主流的认知神经科学上目前也没有很好的回答。首先从婴儿、儿童的研究上能够看到，人们对心意的刺激有基本的生理性、直接性好奇。人各个方面对事情的答案有一个基本的好奇心。而且不光是在人身伤，猫也是很好奇的，对于生物体进化过程当中对于外部世界刺激的反应，有可能是生存繁衍一个很重要的进化的东西，所有的生物体是不是有一种比较基本的好奇心。是什么样的时间范式，比如是不是仅仅对心意的刺激，一种是基本的好奇心，是不是一回事，怎么去实现，是不是有不同种类的好奇心，我自己不知道。

山世光：这是不是和神经科学有一个理论相关，它的基本理论是说对于外在世界什么东西会有一个预测，但如果实际刺激或者实际发生的事情和预测不吻合会有一个偏差，你会关注那个偏差。

毕彦超：如果要是观察人们问的好奇心的问题，我得时刻关注外面的世界，进行预测，才能实现实际有效的识别和交互，有可能有关系。但至少在认知神经科学里面，不会把它Label成好奇心，我觉得有可能是有关系。

第十、刚才提到多模态融合很感兴趣，能不能介绍一下人脑是如何进行多模态融合的？

吴思：多模态信息整合是我们大脑的一个基本功能。人为什么有五官？实际上它们是我们从不同的物理、化学和声音等信号来感知这个外界世界，这些信号需要在大脑里有效地融合起来。从数学角度说，多模态信息整合的最好算法是贝叶斯推理。有意思的是，行为上已经证明大脑能做数学上优化的贝叶斯多模态信息整合，在神经数据上猴子实验也证明，在计算模型上也得到了验证。我们最近做一个模型工作来解释其机理。基本的思想是各脑区有分工，分别负责处理视觉信号、听觉信号等，但同时这些脑区之间又有连接，这些连接编码不同信号之间关联的先见知识。这样多个脑区间通过信息交流，最终以并行分布的方式实现了优化的多模态信息整合。

第十一、关于儿童发展或者跨物种比较的研究来研究学习如何动态塑造大脑神经网络的，比如小孩的大脑可能更接近全连接，后面逐渐被选择性的消除掉一些连接。这样一种模式对计算会不会有帮助？

毕彦超：首先有很多人关注这方面，至于对AI的借鉴的程度我不知道，我会觉得是一个宝藏。首先从婴儿认知的发展上，人们发现很多有趣的现象，比如机器学习一个词很难，小孩在语言爆发期只要听到一个词一次就可以学会。但是在特定的情景下，发展心理学家已经发现只有在特定的这种情景下小孩才学会，所以可以借鉴一下。对于人脑来说，对于人类婴儿的人脑非常难研究，因为我们不想以有损的方式研究婴儿。最近随着无损的神经影像的发展才开始有一些特别基本的认知，开始的时候相对全连接，其实通过分析早产儿的大脑，很快的先去发展初级的感觉运动皮层，但随着后来的发展，网络当中的枢纽然后在其他的额顶更高级的网络再慢慢发展了，这些也是最近两年随着神经影像发展，人们才刚刚知道一点。所以可以关注，我不知道是不是动物上已经有很多很好借鉴的例子了。

第十二、突触可塑性可以看成一种局部优化规则，大脑是如何进行全局学习和调控的？

毕国强：这是一个很好的问题，我刚才提到一点，我们研究学习或者可塑性，一方面是看突触本身发生的变化，另一方面我们希望，实际上还没有真正做到，就是在全局尺度上或者环路尺度上看这些可塑性是怎样发生变化的。这也分多个层次，一是在全局上面，哪些突触可以发生可塑性变化，这需要突触前后神经元的活动，任何一个需要学习的内容在整个网络里面以不同的神经元活动表达出来的时候，就会有相应的突触发生变化。

另一方面，全局尺度上还有神经调质的作用，比如说情绪或者是奖励的信号，受到奖励的时候大脑里多巴胺系统会对整个网络有一个全面的调控。但调控具体影响还有待深入研究，但是一般来说它可能让在这段时间受到影响的突触的可塑性变化更容易。这样就在全局尺度上可以把很多突触的变化协调起来。

第十三、信息专业的学生如果希望自己入门脑科学相关内容，应该从哪里入手？

吴华强：可能找一本比较好的教科书，我当年自己入门的时候我是读一本《从神经元到脑》，当然还有很多其他的教科书。读的时候你会碰到很多名词，你可能不太清楚，现在网上资源这么多，可以很容易的帮助你查。另一方面，有一些不懂的东西你先搁在那儿，看影响不影响你理解全局，然后先把可以理解的东西理解了。另外，一些计算神经科学的教科书里面大部分是数学语言，同时又介绍一些神经科学的基础以及模拟的方法，这是另一个比较好的途径。但我知道的书都比较偏深偏细，不知道吴思有没有更好的建议。

吴思：最好能进到一个课题组，多听报告，参与做具体的课题，这样才更有效。如果光看书，刚开始坚持一个月还可以，你能坚持一年吗？而且你学的东西得不到应用，你可能很沮丧，你可能就放弃了。所以找一个合作课题是最佳的。

山世光：我一直在建议未来论坛青创联盟我们搞一个奖学金，能够鼓励一些信息科学或者脑科学的人互相进入对方，然后给他们提供支持，当然这也很难。

毕国强：这是非常好的办法。我原来在的匹兹堡大学和CMU有一个联合的CNBC Program，就是试图把实验神经生物学和计算神经科学和计算机科学实验室都联合到一起，学生拿到CNBC的奖学金，如果他属于计算实验室的他需要到一个生物实验室去做一个学期或者更长时间，反过来也是一样。当然对每个人，我还是要强调每个人的效果不同，最终还是要看个人的坚持，你有多强烈的兴趣和你想花多大的力气。

刚才我提到花双倍的力气，很多人就有双倍的力气，这些人可能就适合做这件事情。

山世光：而且双倍的力气可能只是在开始。

唐华锦：确实建议很好，要放在一个具体团队或者项目里去做，一个是提升你的成就感，也不会学了一年之后感到很沮丧。中科院这一点做的很好，你们的“脑中心”甚至强制要求人工智能和神经科学蹲点。还有浙大，“双脑”中心也是强调人工智能和神经科学在一块儿在一个团队，至少你要找两个这样的导师，然后去做这方面的工作，效果会很好。

吴思：计算神经科学的教材，网上有“cosya”（音）课程很好。我看观众提问中已经提到这一点。

毕彦超：跨学科交叉非常有趣，我建议一定要有一个自己的Base，某个方面要学透学的特别好才有能力去交叉学科去深入，要不特别容易飘在表面上。

山世光：从点到线再到面，不能上来就到面。

第十四、树突需要Synapse一样来训练吗？像突触一样来训练吗？

吴华强：这个问题非常好，我自己感觉从实物上来讲，它树突也是被训练过的，这个应该需要。但是我们现在的工作还没有做到那一步，怎么做还得琢磨琢磨。这个问题提的非常好，从思路和算法上都可以思考这个问题。

第十五、脑科学领域对常识的研究，有哪些资料可以推荐？

毕彦超：看我们组的文章。我们刚刚有一篇文章要在Neural出来，是一个特别简单，但我自己很喜欢的工作，就是第一次有直接的证据，通过看盲人颜色的知识，在人身上发现有两种不同的知识表征。马上就出来，我推荐给大家。

山世光：请教各位专家人脑中是否存在误差反向传播？

生成海报

免责声明：本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时，应及时向本网站提出书面权利通知或不实情况说明，并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后，将会依法尽快联系相关文章源头核实，沟通删除相关内容或断开相关链接。