第101章 转型！(1/5)
作为本次ICCV大会的正式参会作者,杨力昆有一篇关于卷积网络特征提取与无监督预训练的第一作者论文被大会录用了,需要在此后的分论坛上进行宣讲。因为纽约大学的教学工作以及一些行政事务,他不得不推迟了行程,错过了今天白天的开幕式和ImageNet挑战赛的结果公布。
走到行李提取处,杨力昆掏出手机,取消了飞行模式。
随着信号重新连接,手机开始振动起来,一连串的未读邮件、短信和学术讨论组的提醒如同潮水般涌入屏幕。
他本以为这些只是同行之间例行的问候,或者关于明天报告日程的确认。
然而,当他习惯性地滑开锁屏,看到屏幕顶端挂着的几条来自老友辛顿的未读短信时,眼神不由得顿住了。
“杨,你到巴塞罗那了吗?如果在现场,立刻去ImageNet挑战赛的现场!”
“Qlnet基于CNN,在ImageNet测试集上错误率只有15%!”
“只差两个月,戴维·鲁梅尔哈特就可以听到这个好消息了,可惜了。”
“杨,还有戴维,我们是对的!”
杨力昆停下了脚步,推着行李箱的手不由握紧了。
15%?!
这错误率远低于市面上所有深度学习模型了吧?
杨力非常清楚在ImageNet那上百万张图片,一千个分类的超大规模数据集上,此前学术界用传统的SIFT特征配合支持向量机折腾了数年,错误率也只能艰难地维持在29%左右。
而现在,有人用CNN把这个数字拉到了15%?
杨力昆感到自己的心脏有些失律地跳动起来。
在过去的十几年里,他和辛顿、本吉奥如同三个在黑夜里并肩夜行的朝圣者,固执守着联结主义的阵地。
主流学术界对神经网络避之不及,无数次在经费申请和论文评审中给他们吃闭门羹。
他本人在纽约大学也承受了巨大的压力,不得不经常用层次化特征学习这样更符合主流大众口味的词汇来包装自己的CNN研究。
现在告诉他,居然有人在CNN上取得了成功?
杨力昆立刻拨通了辛顿的电话。
电话几乎被秒接了起来,那头传来了辛顿异常亢奋的声音:“力昆!你看到消息了?”
“辛顿,这消息是真的吗?”杨昆努力保持克制,“15%的错误率,是谁做出来的?是你们实验室的模型吗?”
“不,不是我们。”
“是一个来自华国年轻数学学者,叫漆昊,他带去了一个叫作Qlnet的深层卷积神经网络。
"Qlnet, "
“他是怎么解决深度网络梯度消失问题的?他的计算设备是什么?难道也是GPU ?"
“没错,他不仅用了GPU,而且在网络深度、随机裁剪、数据增强等工程细节上,做了创新,力昆,他用的是你当年创造的卷积网络架构,但他把它的层数加深到了前所未有的高度!”
“他用事实证明了,我们这么多年来坚持的方向是完全正确的,在足够的数据和算力面前,传统的特征工程已经过时了!”
听着电话里辛顿激动的话,杨力昆靠在行李提取处的廊柱上,有些出神。
那一瞬间,过去数年里遭受的所有冷眼,质疑和自我怀疑,似乎都在巴塞罗那温润的夜风中消散了。