正文 第1037章 全球AI因天问改道
r />
【我刚才照着论文里的公式手推了一遍,逻辑完全闭环,没有技术死角。】
【难怪生成速度那么快,这种架构天然支持矩阵运算,算力利用率是传统架构的好几倍。】
【作为同行,我必须承认,这是一篇能够改写教科书的开创性论文。】
【白天那些造谣后台有人工回复的博主呢?出来走两步?】
【这东西如果真能大规模跑通,现有的自然语言处理技术全得推倒重来。】
舆论的风向彻底逆转。
那些质疑造假的营销号集体陷入了沉默,许多账号开始连夜删除之前的黑稿。
如果说国内的互联网圈子只是感到震惊,那海外的AI学术界感受到的就是恐慌。
此刻的北美正值白天。
硅谷的几大科技巨头内部,各大AI实验室的邮件系统已经处于过载状态。
位于加州山景城的谷歌总部,GOOgle Brain深度学习实验室里,气氛压抑得令人窒息。
高级研究员理查德紧盯着电脑屏幕,端咖啡杯的手正止不住地颤抖。
五分钟前,他收到了斯坦福大学一位同行发来的arXiv论文链接。
只看完了《AttentiOn IS All YOU Need》的摘要部分,理查德就感觉浑身的血液都凉了。
实验室的技术总监推开玻璃门,大步流星地走了进来,脸色铁青。
“理查德,你看过那篇中国团队发出的论文了吗?”总监的声音里带着难以掩饰的焦虑。
“刚看完摘要。”理查德咽了口唾沫,声音干涩,“你们那边组织算力跑代码复现了吗?”
“已经抽调了五十个高级工程师,停掉了手里所有的非紧急项目,占用了整个云端集群的算力在跑模型验证。”
“结果怎么样?”理查德紧张地站了起来。
“很不乐观。”总监双手撑在办公桌上,给出了一个极其消极的评价。
“代码复现组刚刚搭出基础模型跑通了第一个极小规模的数据集!理查德,我们过去三年在RNN(循环神经网络)架构上投入的数十亿美金,现在可能变成了一堆废纸。”
理查德的呼吸变得粗重起来。
两年多以前,九天实验室发布了一百五十二层的ReSNet残差网络论文。
那次全球学术界感到的是惊讶。
大家惊讶于中国工程师在解决梯度消失问题上展现出的巧妙工程技巧。
但那仅仅是在现有技术框架内的修补和优化。
这次完全不同。
《AttentiOn IS All YOU Need》直接推翻了现有的技术底座。
总监看着屏幕上复杂的公式,咬着牙继续通报测试进度。
“这套被称为TranSfOrmer的全新架构,在并行计算上的优势太明显了。”
“我们初步估算,只要算力跟得上,它的训练效率理论上比我们现在的RNN高出至少十倍!”
【我刚才照着论文里的公式手推了一遍,逻辑完全闭环,没有技术死角。】
【难怪生成速度那么快,这种架构天然支持矩阵运算,算力利用率是传统架构的好几倍。】
【作为同行,我必须承认,这是一篇能够改写教科书的开创性论文。】
【白天那些造谣后台有人工回复的博主呢?出来走两步?】
【这东西如果真能大规模跑通,现有的自然语言处理技术全得推倒重来。】
舆论的风向彻底逆转。
那些质疑造假的营销号集体陷入了沉默,许多账号开始连夜删除之前的黑稿。
如果说国内的互联网圈子只是感到震惊,那海外的AI学术界感受到的就是恐慌。
此刻的北美正值白天。
硅谷的几大科技巨头内部,各大AI实验室的邮件系统已经处于过载状态。
位于加州山景城的谷歌总部,GOOgle Brain深度学习实验室里,气氛压抑得令人窒息。
高级研究员理查德紧盯着电脑屏幕,端咖啡杯的手正止不住地颤抖。
五分钟前,他收到了斯坦福大学一位同行发来的arXiv论文链接。
只看完了《AttentiOn IS All YOU Need》的摘要部分,理查德就感觉浑身的血液都凉了。
实验室的技术总监推开玻璃门,大步流星地走了进来,脸色铁青。
“理查德,你看过那篇中国团队发出的论文了吗?”总监的声音里带着难以掩饰的焦虑。
“刚看完摘要。”理查德咽了口唾沫,声音干涩,“你们那边组织算力跑代码复现了吗?”
“已经抽调了五十个高级工程师,停掉了手里所有的非紧急项目,占用了整个云端集群的算力在跑模型验证。”
“结果怎么样?”理查德紧张地站了起来。
“很不乐观。”总监双手撑在办公桌上,给出了一个极其消极的评价。
“代码复现组刚刚搭出基础模型跑通了第一个极小规模的数据集!理查德,我们过去三年在RNN(循环神经网络)架构上投入的数十亿美金,现在可能变成了一堆废纸。”
理查德的呼吸变得粗重起来。
两年多以前,九天实验室发布了一百五十二层的ReSNet残差网络论文。
那次全球学术界感到的是惊讶。
大家惊讶于中国工程师在解决梯度消失问题上展现出的巧妙工程技巧。
但那仅仅是在现有技术框架内的修补和优化。
这次完全不同。
《AttentiOn IS All YOU Need》直接推翻了现有的技术底座。
总监看着屏幕上复杂的公式,咬着牙继续通报测试进度。
“这套被称为TranSfOrmer的全新架构,在并行计算上的优势太明显了。”
“我们初步估算,只要算力跟得上,它的训练效率理论上比我们现在的RNN高出至少十倍!”
本章未完,点击下一页继续阅读
(2/4)