新型神经元网络模子问世:更强的情况感知,更好的人脑模仿
转自 学术头条
如今,以 ChatGPT 为代表的认知智能大模子正在增速提高,怎样让人工智能(AI)像人类大脑一样智慧,神经网络扮演偏紧张的人物。
上世纪四十年代,封建家受大脑神经元的启示,提出了人工神经网络模子,经过模仿大脑神经元和神经网络的布局和功效,使盘算性可以学习并做出相似人类头脑的决定。
近期,OpenAI 公布的 GPT-4o 模子的“类人”交互才能体现惊人,它的音频呼应速率乃至以前到达和人类相似的水平。这对否意味着神经网络已到达人类大脑处理信息的才能?
克日,来自 Flatiron Institute 和印第安纳大学的研讨团队发觉,只管人工神经网络在不同水平和条理上可以模仿人脑神经体系的信息处理功效,但其距离人脑神经元体系的运转机制仍存在很大差距。他们表现,人工神经网络并未捕捉到真实神经元的一切盘算才能,并且约莫会拦阻人工智能的提高。
干系研讨论文以“The neuron as a direct data-driven controller”为题,已公布在 Proceedings of the National Academy of Sciences 上。
据先容,他们开发了一种 DD-DC(direct data-driven control)新型神经元网络模子,其证实单个神经元对周围情况的控制力比之前想象的更强。他们以为,DD-DC 神经元网络模子约莫会天生更强壮的人工神经网络,还能更好地模仿大脑的运作。
该论文的通讯作者 Dmitri Chklovskii 表现:“已往 60 年来,神经封建以前取得了长足的提高,我们如今熟悉到从前的神经元模子十分大略,神经元但是比这个模子繁复得多、也智慧得多。”
神经元网络新打破
人工神经网络由很多神经元毗连构成一个网络布局,当神经元从前一层神经元吸收到的总输入凌驾某个阈值时,它才会将信息转达到下一层。模子在练习时,信息仅单向经过某个神经元,且无法影响神经元从链中较早的神经元吸收到的信息。
只管人工神经网络以前在各范畴取得了明显的提高,但受生物神经元固有的可变性限定,现在神经元的参数还难以量化,构建可推行的大脑功效模子仍旧是神经封建范畴的一项困难挑唆。
在此前的研讨中,封建家们提出听从编码与猜测信息实际等实际,试图经过优化将来干系信息的编码,将神经元生理学看法化为盘算目标的优化。但是,这些看法并没能很好地表明神经元的某些生理属性。
为了完成大脑在反应控制的功效,DD-DC 神经元网络模子将神经元建模为周边情况的反应控制器,避开受控动态体系的显式表现和潜伏形态的显式推断,直接将观察后果映射到控制信号。
DD-DC 神经元网络模子从单个假定开头,为多种先前不干系的神经生理征象提供了表明,每一个表明都只提供直接证据,但它们的多样性可以为 DD-DC 模子提供支持。
图 | 一组开关 DD-DC 控制的开关线性体系(左图:使用多个开关 DD-DC 控制非线性动态体系的表现图。右图:刻画了一个深度网络模子,此中每个神经元对其周围情况实行控制,从而促进整个大脑对外部情况实行更广泛的控制。)
Chklovskii 表现,这种更传神的神经元控制器模子约莫关于提高很多机器学习使用的功能和听从至关紧张。但他也表现,“固然 AI 取得了令人注目标成果,但仍存在很多成绩。现在的使用约莫会给你错误的答案,大概产生幻觉,并且必要多量的练习本钱。”
DD-DC 神经元网络模子使用优秀的数据驱动控制框架,分析白生物神经元作为好效反应控制器的可行性,提入迷经元不仅可以猜测,还可以经过其输入积极影响其将来的输入。
研讨职员表现,DD-DC 神经元网络模子将加深人们对大脑的了解,大概有助于受生物学启示的人工神经网络的提高。
将神经元视为微型控制器
该研讨展现了在神经回路中,终期处理链中的神经元可以反应影响早前处理链中的神经元,这与传统看法中的单向活动完全不同。就像恒温器维持衡宇或修建物的温度一样,大脑神经网络必要坚持本身安定,从而制止肢体体系被活动压垮。
研讨发觉,在神经元毗连点(突触)处,电信号的转达偶尔会被随机干扰,这种随机性实践上有助于神经元顺应不休厘革的情况,从而提高它们的功能。
更具体地说,在一个神经元与另一个神经元毗连的“突触”局部,常常会显现神经元传输电信号但卑劣耦合神经元未收到消息的情况。卑劣神经元对否收到、何时吸收突触信号,仿佛很大水平上取决于偶尔性。
Chklovskii 说,将神经元视为微型控制器也可以表明一些从前无法表明的生物征象。比如,人们长时以来不休以为大脑中存在多量噪声,这种生物随机性的目标不休存在争议,但该研讨团队经过建模发觉,某些典范的噪声实践上可以加强神经元的功能。
研讨职员表现,人们以为大脑是一个全体,乃至是大脑的一局部,但没有人以为单个神经元可以做到这一点。控制是一项盘算茂密型职责,神经元很难拥有充足的盘算才能。
只管一些封建家推测这种随机性只是小型生物体系的实质,对神经元举动并不紧张。但研讨团队发觉,向模子添加噪声,有助于神经元顺应不休厘革的情况,从而提高它们的功能。随机性关于复制真实神经元的功效仿佛也很紧张。
但是,只管这一新模子展现了其出色性,但其盘算需求较高,尤其是在大范围神经网络的实践使用中。
因此,研讨团队发起将其更多地使用于特定范畴的深化分析,如视觉情况中的神经元举动研讨。将来的研讨将持续探究不同典范神经元的举动,并将这一新模子与其他武艺团结,如反抗性练习和强化学习,从而进一步提高 AI 模子的可靠性和准确性。
他们也方案分析不合适这一新模子的神经元典范。比如,视网膜中的神经元吸收来自视觉情况的直接输入。这些神经元约莫无法像大脑深处的神经元那样控制它们的输入,但约莫会使用研讨团队发觉的一些相反原理。
Chklovskii 说:“控制和猜测实践上十分干系,假如不猜测你的举动对天下的影响,你就无法好效地举行控制。”
参考材料:
https://www.pnas.org/doi/10.1073/pnas.2311893121#
executive-summary-abstract

















