半小时后,代码修改完成。
"--"
随着脚本运行,机柜里的显卡啸叫声瞬间拔高了一个八度,那是硅基芯片在极限负荷下的哀鸣。
这一次,没有显存报错。数千个流处理器开始疯狂吞吐数据,机房里的温度直线上升,热浪滚滚而来。
“跑起来了!”程新竹惊喜地喊道,擦了擦额角的汗珠,兴奋地脱掉了卫衣,露出了里面粉色的hellokitty短袖t恤衫。
屏幕上的进度条开始移动。
loss曲线开始生成。
但是,仅仅过了几分钟,林允宁的脸色就变得比刚才更难看。
那条代表模型误差的loss曲线,并没有像预期那样下降,反而在震荡了几次后,直接冲上了天际。
紧接着,屏幕上跳出了一行行令人绝望的字符:
loss:nan
gradient:nan
nan,非数。
这意味着计算溢出了。
梯度在几十层的反向传播中,要么消失成了零,要么爆炸成了无穷大。
"zett......"
林允宁盯着那些nan,感觉像是被嘲讽了一样。
这不是硬件问题,这是算法的数学缺陷。
随着网络层数的加深,每一层参数的微小变化,都会导致输出数据的分布发生剧烈偏移。
这就好比是在打靶。
第一层射偏了一点点,第二层又偏了一点点......
到了第50层,那个偏差已经被放大了无数倍,子弹早就不知道飞到哪里去了。
这叫“内部协变量偏移”。
靶子一直在乱晃,枪手根本瞄不准。
林允宁试着调低学习率,试着更换初始化方法,试着加各种正则化手段。
没用。
那个nan就像是个诅咒,顽固地霸占着屏幕。
如果不解决这个问题,深层网络就是个不可训练的废品。
时间一分一秒地过去。
很快到了深夜两点。
机房里的轰鸣声依旧,热得像蒸笼,但满头大汗的林允宁已经盯着那个nan看了整整两个小时。
常规的方法已经试了个遍,他甚至尝试了梯度裁剪等等稀奇古怪的野路子。
结果还是没有改进。
只要层数一深,数据分布就会乱套。
""
一杯冰咖啡放在了手边。
程新竹拉过一把椅子坐在他旁边,手里捧着厚厚的病理报告和生物化学工具书,准备陪着他熬夜,顺便查阅p450酶的资料。
“别急,慢慢来。”
程新竹喝了一口自己的抹茶拿铁,看着屏幕上乱跳的曲线,随口嘟囔道,“这ai跟养细胞似的,真娇气。
“你知道吗,我们养细胞的时候最怕也是环境波动。
“培养液的ph值只要差个0.1,或者温度波动个0.5度,那些酶就罢工了,细胞直接死给你看。生物体内的反应环境必须是绝对稳定的,这叫稳态。
“只有环境稳了,酶才能专心干活……………”
“稳态....……”
林允宁听着程新竹的喋喋不休,端着咖啡的手忽然停在半空。
他的瞳孔猛地收缩,脑海中那个一直旋转的齿轮,突然卡进了一个关键的槽口。
【天?:灵感洞察lv.1已激活。】
他的目光从咖啡杯移到了屏幕上那乱糟糟的数据流上。
神经网络的每一层,不就是生物体内的一级级酶促反应吗?
现在的困境是,前一层的参数一变,输出的数据分布就跟着变。
下一层神经元就像是那个可怜的细胞,上一秒培养液还是酸性的,下一秒就变成碱性了,它光顾着适应环境了,哪还有精力去处理信息?
“如果生物体需要稳态......”
林允宁喃喃自语,眼睛越来越亮,“那神经网络也需要稳态。”
“我们需要把靶子焊死在墙上。”
他猛地放下杯子,咖啡溅出来几滴。
“什么?”正在嘟囔着养细胞经验的程新竹被他吓了一跳。
“我说,我要强制让每一层的数据环境保持稳态!”
林允宁抓起键盘,那种在绝境中找到出口的狂热让他兴奋起来。
不需要复杂的数学推导,只需要一个简单粗暴的工程手段。
不管前一层传过来什么乱七八糟的数据??
我先算出这批数据的均值和方差。
然后,强行减去均值,除以标准差!
x_nor
把它们强行拉回到均值为0、方差为1的标准正态分布!
但这还不够。
如果强行归一化,可能会破坏数据的特征。得给它一点自由度。
所以,再引入两个可学习的参数:gaa+beta
让网络自己去决定需不需要还原,以及还原多少。
这就是??batchnorion。
给每一层神经元,都装上一台“空调”和“酸碱调节器”,让它们永远在最舒适的分布环境下工作!
“就是这个!新竹,你真是个天才!”
林允宁转过头,狠狠地拍了拍程新竹的肩膀,“生物稳态!就是这个!”
“啊?我干嘛了?”程新竹一脸懵逼。
林允宁没有解释,他的手指在键盘上飞舞,将这几行简洁而优美的代码插入到每一个卷积层和激活函数之间。
就像是给每一个神经元都装上了一个微型的“稳态调节器”。
这是一种从未在教科书上出现过的层结构。
它不属于物理,不属于数学,它属于纯粹的工程直觉,是生物学智慧在计算机领域的投影。
“run.”
林允宁再次按下了回车键。
轰鸣声再次响起。
这一次,两人的目光都聚焦在那条loss曲线上。
第一轮迭代......loss2.3。
第二轮......loss1.9。
没有nan。
没有震荡。
那条代表损失函数的曲线,像是一条听话的滑梯,以一种令人难以置信的丝滑姿态,笔直