AG真人百家乐靠谱吗让AI斟酌东谈主脑改日10分钟景色，悉尼大学华东谈主团队建议新式Transformer架构，单时期点斟酌均方谬误为0.0013

发布日期：2024-07-28 01:17 点击次数：78

近日，一篇由澳洲悉尼大学团队牵头完成的论文在 X 上引起温和，该校的博士生孙艺菲（Yifei SunAG真人百家乐靠谱吗，音）是论文第一作家。

图 | Yifei Sun（开始：LinkedIn）

基于东谈主类汇注组盘算的功能性磁共振成像数据，他们使用 Transformer 斟酌了东谈主脑静息景色（human brain resting states）（注：东谈主类汇注组盘算是好意思国国立卫生商议院于 2009 年开动资助的一个 5 年款式，由几所商议机构分红两组进行）。

具体来说，他们建议一种基于时期序列的 Transformer 架构，在功能性磁共振成像采聚会不雅察到的一系列先前时期点的情况下，得胜斟酌了大脑 379 个灰质区域的大脑景色，单时期点斟酌均方谬误为 0.0013。

商议中，他们将大脑景色斟酌问题构建为一个自回顾任务，在给定序列的情况下来斟酌下一个时期元素。

借此发现，该模子不错准确斟酌大脑的即时景色，其中斟酌 5.04 秒的大脑景色谬误较小，斟酌 10 分钟以上的大脑景色与东谈主类功能汇注组的平均值一致（注：功能汇注，‌是指大脑不同脑区之间在功能上的相互关联和影响，主要通过分析不同脑区纪录的信号来计较反应不同脑区关系强弱的某种磋商）。

本次方法也能学习大脑景色随时期的时期依赖性，基于 21.6s 的功能性磁共振成像数据不错准确斟酌约 5.04s 的景色。

此外，即使斟酌谬误跟着时期的推移而积贮，所生成的功能性磁共振成像大脑景色，也能反应功能汇注的结构。另据悉，本次商议的关系代码已开源（https://github.com/syf0122/brain_state_pred）。

（开始：arXiv）

基于自隆重力机制力的架构，能充任大脑改日景色的“预言师”

东谈主脑是一个复杂的动态系统，罕有百亿个神经元和数万亿个突触汇注。了解东谈主脑的动态机制耐久是神经科学界限的首要任务，因为它关于揭示知道、心扉、讲话和其他更高级次东谈主类智能的发源至关迫切。

此外，这种暴露关于破译和精神分裂症等脑部疾病背后的机制至关迫切。同期，脑机接口（BCI，brain-computer interfaces）和大脑启发的 AI 本领正在发展成为现时的本领趋势，因此学习大脑机制是效法东谈主脑的迫切一步。

功能性磁共振成像是一种广为使用的非侵入性本领，它能在中不雅设施上不雅察通盘大脑的空间动态，以及在第二设施上不雅察时期动态。

尽管东谈主们在绘图大脑功能组织方面取得了要紧推崇，举例用静息态脑功能磁共振成像重建了内在齐集。但是，大脑的功能汇注——是了解大脑健康和表情健康的迫切生物记号物。

而当大脑莫得施行特定任务时（即静息景色），大脑步履到底是若何出现？关于这一问题仍然莫得得到解答。此外，从静息景色获取的具体序列脑景色是否不错斟酌？这仍然是一个未知数。

而假如好像管制这一问题，则有望裁汰有繁难患者或残疾患者的功能性磁共振成像扫描时期。如若不错斟酌大脑景色，那么某些致命性脑部疾病（如癫痫）的隐衷和伤害也不错幸免或减少。

同期，斟酌大脑景色不错为脑机接口本领铺平谈路，有望让该本领达成更直不雅、更有用的雷同。

自从关系商议东谈主员于 2017 年引入多头自隆重力（Multi-headed Self-attention）以来，Transformer 架构在深度学习中可谓无处不在，并主要专注于处理序列任务和图像多任务。

ChatGPT 即是其中一个得胜案例，它展示了 Transformer 在处理应然讲话划定信息上的弘远功能。Transformer 能从学问库中学习模式，并能在连气儿对话的布景下给出谜底。

鉴于它们好像找到基于关系性和与图论筹商的数据 tokens 之间的远距离关系，本次商议团队觉得基于自隆重力机制力的架构，好像从连气儿的大脑步履中斟酌行将到来的大脑景色。

最近，有商议东谈主员诠释 Transformer 架构在分析功能性磁共振成像数据具备年齿斟酌、性别分类和疾病分类方面的后劲。

此外，脑讲话模子（BrainLM，brain language model）是一种好像监测大脑动态步履的基础模子。在使用脑讲话模子的时候，需要经过事先教悔以便进行逃匿斟酌，然后针对大脑景色斟酌进行微调。

但是，脑讲话模子需要使用大型数据集进行预教悔，而大脑景色斟酌需要相对较长的时期序列（180 个时期点）。

因此，假如教悔一个好像把柄更短的输入时期序列来斟酌大脑景色的模子，就不错大大裁汰功能性磁共振成像的扫描时期。

（开始：arXiv）

接受 1003 名健康年青东谈主的 3.0T 功能性磁共振成像数据

基于此，商议东谈主员使用了东谈主类汇注组盘算的年青东谈主数据集的静息景色功能性磁共振成像数据。他们接受 1003 名健康年青东谈主的 3.0T 功能性磁共振成像数据，并舍弃了其中 110 名成像缺失或不完好的受试者。

这些受试者王人曾使用四次功能性磁共振成像扫描，每次扫描 1200 个时期点，并接受存储基于名义的灰质数据的 CIFTI 风光（注：‌CIFTI 的英文全称是 Connectome Imaging Format for Tomography，它是一种用于存储和暗意大脑汇注组数据的文献风光‌）。

东谈主类汇注组盘算的功能性磁共振成像数据具有 2mm 的各向同性空间分别率和 0.72s 的时期分别率。

除了东谈主类汇注组盘算数据集已能提供的最小预处理以外，该团队还进行了几个很是的预处理要领，以便进一步地清算数据，并为教悔和测试 Transformer 准备数据。

商议中，他们使用高斯滤波器对功能性磁共振成像数据进行空间平滑处理，高斯滤波器在 CIFTI 风光中将半峰全宽成就为 6mm，以便攻讦噪声和晋升信噪比（注：‌半峰全宽，ag百家乐假不假是指在色谱分析中色谱峰高一半处的峰宽度）。

然后，他们接受带通滤波器滤除一些不感爱慕的噪声，同期将时期信号保捏在 0.01Hz 至 0.1Hz 的范围内。

为了将统统样本放在一个共同设施上，他们针对时期序列进行 z 分数变换，以便赢得零时期均值和单元程序差（注：z 分数，是一个数与平均数的差再除以程序差的历程）。

接着，他们使用多模态分割图谱，计较了 379 个大脑区域的平均功能性磁共振成像时期序列，其中包括 360 个皮质区域和 19 个皮质下区域。基于此，他们使用每个时期点信号强度为 379 个区域的向量来暗意大脑景色。

东谈主脑是一个动态系统，它确现时景色与之前景色筹商。因此，商议东谈主员也探索了这么一个问题：在给定一系列先前大脑景色的情况下，是否不错斟酌单个大脑景色？为了模拟这些斟酌，他们重新瞎想一个为流感斟酌（influenza forecasting）开辟的现存时期序列 Transformer 模子。该模子由 Transformer 编码器和 Transformer 解码器组合而来。

在使用时，Transformer 将由具有给定窗口大小的 token 序列暗意的时期序列数据动作输入。由于自隆重力机制会将符号关系视为一个图，因此不错使用正弦函数和余弦函数的位置编码，来添加相对的时期信息。

齐集的编码器，包含四个具有自温和和前馈的编码层。编码层，则包含八个隆重头。最终，这一编码堆栈不错生成编码器输出。

商议东谈主员把编码器输入的临了一个时期点与编码器输出加以勾搭，以此动作解码器的输入，这时解码器会被界说为四个解码层的堆栈，而这些解码层也由自隆重力机制和前馈层构成。

随后，全汇注层会将解码器层堆栈的输出映射到意见输出局面。与流感流行病例的时期序列 Transformer 不同，该团队的模子好像斟酌一系列的改日时期点，并能通过接受前瞻性逃匿来斟酌基于当年的数据。

（开始：arXiv） ‍‍

生成 1150 个时期点的合成时期序列的斟酌效果

当将大脑景色斟酌问题界说为自回顾任务时，商议东谈主员使用均方谬误（MSE，mean squared error）动作亏本函数。他们最初针对 40 名受试者的数据进行不同窗口大小的初步测试。

具体来说，他们输入了时期序列之间的相通，因此每个功能性磁共振成像会话数据好像产生 1150 个教悔样本。

教悔时期，商议东谈主员从统统受试者和统统会话的教悔数据中立地采取样本。教悔完了 Transformer 齐集之后，商议东谈主员使用模子此前莫得见过的受试者的功能性磁共振成像数据评估其性能。

最初，他们测试了该模子从信得过功能性磁共振成像数据中斟酌单个大脑景色的智力。然后，他们使用雷同的输入序列进行肖似测试，其中大脑景色的划定是立地的。

商议东谈主员假定：当以立地序列输入雷同的数据时，一个好像学习划定信息和大脑能源学的模子应该会产生更高的谬误。

为了考证这一假定，他们针对两种测试的均方谬误进行比拟，并对两组均方谬误效果进行了配对 t 教悔（paired t-test）（注：配对 t 教悔是配对样本 t 教悔的简称，用于教悔关系或相互依赖的配对不雅测值之间的平均差是否存在权臣各异）。

之后，他们评估了模子的这一智力，即接受有限的信得过功能性磁共振成像数据和抵制加多的合成景色，来斟酌一系列大脑景色的智力。

具体来说，他们使用 30 个信得过的功能性磁共振成像时期点来斟酌下一个时期点，然后将该斟酌与信得过期期序列汇注起来，并将输入窗口出动一步，以迭代的风光囊括新的斟酌时期点，直到合成与信得过数据（1200 个时期点）长度雷同的时期序列序列。

通过此，商议东谈主员生成 1150 个时期点的合成时期序列的斟酌效果，并计较了斟酌时期序列和信得过功能性磁共振成像数据之间的均方谬误，以及每个斟酌和信得过大脑景色之间的斯皮尔曼关系悉数，以便不错测试单调关系性（monotonic correlations）（注：斯皮尔曼关系悉数，‌是一种非参数统计方法，用于评估两个变量之间的单调关系，而非用于评估线性关系）。

同期，商议东谈主员使用区域时期序列之间的皮尔逊关系悉数，计较了信得过功能性磁共振成像时期序列和斟酌功能性磁共振成像时期序列的功能汇注矩阵（注：皮尔逊关系悉数，是一种统计度量，用于量化两个变量之间的线性关系强度和所在）。至此，本次商议矜重干涉尾声。