灰蓝色的海湾倒映着北岸山脉的积雪,海鸥在温哥华会议中心的巨型玻璃幕墙外盘旋。
nips2007的注册大厅里,人声鼎沸。
林允宁刚领完胸牌,还没来得及把那个略显廉价的挂绳套在脖子上,就被一群年轻的面孔围住了。
“林-god!能不能签个名?”
一个戴着厚底眼镜的男生激动地递过来打印好的论文,封面上赫然印着《learattention》。
“我是伯克利的一年级博士生。您的这个算法简直是救命稻草!我们在做长序列基因预测,之前跑一次模型要一周,用了您的技巧您重新定义了真空?”
"......"
林允宁熟练地接过马克笔,在那篇论文的空白处签下了名字。
这一年来的历练,让他对这种场面已经习以为常。
他不像是来参会的学生,更像是走红毯的明星。
“看来我们的‘物理学家’人气很高啊。”
一个带着英伦腔调的声音从侧方传来。
人群自动分开一条路。
杰弗里?辛顿穿着一件看着有些年头的粗花呢西装,正笑眯眯地看着他。
站在辛顿旁边的,是穿着格子衬衫、背着双肩包的google工程战神杰夫?迪恩。
“辛顿教授,迪恩博士。”
林允宁盖上笔帽,微笑着走过去握手,“il一别,好久不见。”
“确实好久不见。”
杰夫?迪恩的眼神依然热切,像是在看一块未被开采的金矿,“听说你最近在数学界和物理界闹出的动静很大?陶哲轩都在给我发邮件夸你。怎么样,有没有兴趣来googlebra给我们讲讲那个‘复配边算子?顺便聊聊入职的
事?”
“杰夫,你就别费心了。”
辛顿打断了迪恩的挖角,“林这种人,注定是要自己定义问题的,而不是去解决别人定义的问题。不过,林,我很期待你今天的keynote。听说你要从几何流的角度讲优化?”
“我确实有一点不成熟的想法。”
林允宁谦虚了一句,“希望能给在这个寒冬里坚持神经网络的人,一点信心。”
周围的参会者们看着这三个大佬级别的任务谈笑风生,眼神里充满了敬畏。
在2007年,这三个人站在一起,基本上就代表了人工智能的一半未来。
只是,其中有个人实在年轻的有点过分。
上午十点,主会场。
巨大的投影幕布上,显示着keynote的标题:
《从几何流看神经网络的优化景观》。
演讲很成功。
林允宁的讲座深入浅出,没有用枯燥的代码,而是用物理直觉,将神经网络的参数空间比作一个高维的能量地形图,阐述了为什么传统的梯度下降法容易陷入局部极小值。
到了提问环节。
一位来自麻省理工学院的老教授站了起来,扶了扶话筒
“林先生,你的几何比喻很精彩。但是,深层网络的优化曲面是非凸的,存在大量的鞍点。在数学上,这些点会导致海森矩阵出现负特征值,从而阻碍收敛。你是
如何看待这个问题的?”
这是一个非常硬核的数学问题。
全场安静下来,等待着林允宁的回答。
“这是一个非常好的几何问题。”
林允宁眼睛亮了。
他指了指台边的黑板,“能帮我推过来吗?”
工作人员迅速将黑板推到舞台中央。
林允宁拿起粉笔,转身面对黑板。
“其实,如果我们跳出欧几里得空间的限制,把参数空间看作一个黎曼流形......”
哒哒哒。
粉笔在黑板上敲击出清脆的节奏。
第一行,他写下了海森矩阵的本征值分解公式。
台下的观众频频点头,来到这里的虽然大部分是计算机科学家,但数学水平并不低。
他们对于这些基础的代数问题,还是理解得很深入的。
第二行,林允宁开始引入莫尔斯理论,用临界点的指数来描述鞍点的性质。
台下有一半人开始皱眉,拿笔的手停住了。
“进一步,如果我们考虑梯度流在这个流形上的测地线偏离方程......”
从第三行开始,林允宁直接祭出了他在和陶哲轩讨论时用到的“同调群”演化方程,开始证明在高维空间中,鞍点其实是逃逸路径的“路标”,而非陷阱。
台下彻底安静了。
那是一种死一般的寂静。
刚才还在点头的计算机科学家们,现在的表情就像是误入了高等数学专业课的大一新生。
他们的眼神从迷茫,变成了呆滞,最后变成了放弃思考的释然。
只剩下此起彼伏的相机快门声????
虽然听不懂,但这公式看着就很厉害,先拍下来再说。
林允宁写得兴起,手中的粉笔折断了一截。
他回过头,正准备解释一下贝蒂数的物理意义,却看到了台下几千双迷茫的眼睛。
甚至连前排的杰夫?迪恩都在揉太阳穴。
"be......"
林允宁愣了一下,瞬间反应过来。
这是ai大会,不是数学家大会。
他刚才那套连陶哲轩都要思考几分钟的推导,对这帮搞工程的人来说,简直就是天书。
这就是所谓的降维打击一
一不小心打得太狠,以此至于观众连痛感都没反应过来。
“咳。”
林允宁淡定地把剩下的半截粉笔扔进笔槽,拍了拍手上的灰,指着黑板上那堆如同鬼画符般的公式:
“简而言之,只要路径选得对,鞍点不是障碍,是跳板。”
台下沉默了一秒。
"14"
雷鸣般的掌声爆发了。
大家其实还是没听懂,但这不妨碍他们对这种智力上的绝对高点表示敬意。
午饭时间,海报展区。
相比于主会场的热闹,这里的角落显得有些冷清。
200和人工特征提取的天下。
在一个不起眼的角落里,林允宁看到了一个略显落寞的身影。
那是一位有些瘦削的亚裔女性,正独自站在一张海报前。