正文 第622章 深度学习变天了

第二天跑了一个二十层的测试。



然后是三十层。四十层。精度不仅没有下降，还在持续攀升。



他又花了两周时间反复验证，排除过拟合、数据泄漏等一切干扰因素。



最后把层数推到了五十。



5.08%。



和人类标注员打了个平手。甚至略微超过。



任少卿睁开眼睛，盯着天花板看了很久。值班间的日光灯管有一根坏了，一明一暗地闪着。



“少卿哥，这个结果……”



陈立秋把擦了无数遍的眼镜重新戴好，声音压得很低，



“能发顶会吧？”



“不止能发。”



郑宇航已经从最初的激动中回过神来了，他盯着屏幕上的损失曲线，



“这东西要是公开出去，整个领域都得重新洗牌。以前大家默认深层网络没法训练，所有人都在十几二十层的范围里卷。现在这个假设直接被推翻了。”



任少卿没说话。



他站起来，走到机房那面闪烁的绿色光墙前面，双手插在冲锋衣口袋里。



兴奋吗？当然兴奋。



但兴奋过后，一种更复杂的情绪开始往上涌。



他想起去年在西安交大走廊里，那个黄毛少年对他说的话。



“你的模型在做大量无效计算。”



“让模型只用它需要用的那部分脑子去思考。”



当时他以为那只是一个外行的模糊直觉。



但现在他回过头来看，那个十八岁的少年说的每一句话，都精准地指向了这个领域未来五到十年的核心命题。



残差连接解决了深层网络的训练问题。



但那个少年想要的，显然不止于此。



任少卿盯着那面光墙，脑子里像打开了一扇被堵住很久的门。



五十层的残差网络证明了一件事：网络可以做得很深，深度不再是瓶颈。



那下一个瓶颈是什么？



他几乎是本能地想到了那个词。



宽度。



或者更准确地说，视野。



卷积网络的每一层只能看到一个局部窗口。



三乘三，五乘五，最大也就七乘七。哪怕你把网络堆到一百层，每一层看到的依然是一小块局部区域。



它通过层层叠加来扩大感受野，但这种扩大是间接的，是逐层递推的，不是一步到位的。



如果数据不是图片呢？



如果是一段文字，一个句子，一篇文章？



文字里的语义关联可以跨越整个句子。



第一个字和最后一个字之间可能存在关键的依赖关系。卷积核看不到那么远。



循环神经网络可以看到，但它是串行的，一个字一个字往后递，速度慢得要命，而

本章未完，点击下一页继续阅读

(3/4)