“用relu做激活函数，收敛速度更快。再加入dropout机制，隨机让部分神经元失活，防止过擬合。”亚歷克斯一口气说出了两个核心优化点。
    辛顿在一旁听著，对这个架构方案频频点头。
    “理论框架非常完美，现在只剩下一个现实问题。”亚歷克斯停下笔，看著自己工位上那台破旧的主机。
    “別看我，我这个月的津贴只够吃快餐，买不起企业级的计算卡。”伊利亚摊了摊手。
    辛顿整理了一下衣领，走向教研室的门。
    “硬体设备的事情交给我。既然是证明並行计算的潜力，我们不需要昂贵的企业级伺服器。”辛顿包揽了採购任务。
    “那买什么？”亚歷克斯问。
    “我去电脑城买两块三百美元的顶配游戏显卡。用来打游戏太浪费，用来跑矩阵运算刚刚好。”辛顿语气轻鬆。
    走到门口，辛顿又停下了脚步。
    “学校的经费审批流程太长，我先去联繫採购，直接刷我的卡。你们的任务，就是把代码的底层逻辑重构好。”辛顿说完，大步流星地离开了教研室。
    教研室里，亚歷克斯和伊利亚对视了一眼。
    “老板亲自去当硬体採购员了，我们还有什么理由不通宵？”伊利亚调出了一个全新的代码工程文件。
    亚歷克斯拉过键盘，活动了一下手指。
    “准备好让那些还在用cpu排队跑数据的同行们感受震撼了吗？我要让alexnet的错误率，成为他们无法企及的数据。”亚歷克斯盯著屏幕，敲下了第一行底层重构代码。
    目光转向全球的其他地方。
    这个百万级別的数据集公开后，各地的研究团队都迅速行动起来。
    麻省理工学院的一间机房里。
    几名研究员正在白板上画著各种算法流程图。
    “我说过很多次了，我们需要优化支持向量机的核函数。”一个穿著格子衬衫的男生大声说道。
    旁边的女生立刻反驳。
    “修改核函数根本解决不了根本问题！计算量依然庞大到无法接受。”女生用笔敲击著桌面。
    格子衬衫男生很不服气。
    “那你有什么更好的方案？难道用隨机森林？”男生质问。
    女生毫不退让。
    “我们可以尝试把图像分块提取特徵，然后再进行融合。”女生提出自己的见解。
    两人各执一词，谁也说服不了谁。
    在日本东京大学的一间实验室里。
    几个研究员正围在一台电脑前，满头大汗地盯著屏幕。
    “底层逻辑综合失败了。”负责操作的研究员报告。
    站在后面的带头人皱紧眉头。
    “重新检查语法。我们不能依赖现成的软体，必须自己用硬体描述语言写出最快的加速器。”带头人下达命令。
    “可是这样开发周期太长了，比赛时间有限。”操作员提出担心。
    带头人拍了拍操作员的肩膀。
    “只要我们坚持下去，就一定能比別人更快跑完模型。今晚大家继续加班。”带头人鼓励道。
    在印度的一所知名理工学院里。
    网络拥堵导致下载数据集的进度条几乎停滯。
    “这网速太慢了，照这个速度，比赛结束我们都下载不完。”一个男生拍著桌子抱怨。
    旁边的同学拿出一个u盘。
    “別慌，我写了一个脚本，可以把下载任务分散到校园里其他閒置的电脑上，然后再合併。”同学展示自己的成果。
    “太棒了，赶紧运行。”男生催促。
    整个世界的顶级技术团队都在研究同一套数据集。
    每一天都有无数行代码被编写出来，然后又被刪除。
    大卫在斯坦福的实验室里吃著披萨，眼睛盯著屏幕上的进度条。
    “27.2%。提升了零点五个百分点。”大卫咬了一口披萨，匯报结果。
    约翰在旁边喝著可乐。
    “照这个速度，飞飞教授预测的32%真的就是天花板了。”约翰嘆气。
    大卫擦了擦手。
    “不行，我得再换一种特徵描述符试试。我不信邪。”大卫重新握住滑鼠。
    多伦多大学这边，亚歷克斯敲击键盘的速度越来越快。
    “网络结构的第一层定义完成了。”亚歷克斯转头对伊利亚说。
    伊利亚凑过来看代码。
    “步长设置得是不是有些大？这会丟失一些细节特徵。”伊利亚提出建议。
    亚歷克斯思考了一下。
    “步长大会减少计算量，我们在后面的层级再把特徵补回来。先跑起来看看效果。”亚歷克斯坚持自己的设计。
    辛顿走进教研室，拿著两盒咖啡。
    “大家休息一下，喝点东西。”辛顿把咖啡分给大家。
    亚歷克斯接过咖啡。
    “教授，英伟达的显卡买到了吗？”亚歷克斯问。
    辛顿点点头。
    “已经下单了，明天就能送到。一共四张顶配卡。”辛顿回答。
    伊利亚兴奋地搓手。
    “太好了，明天我们就可以开始真正的模型训练了。”伊利亚迫不及待。
    在这些顶级实验室里，枯燥的调试和爭论每天都在上演。
    大家都在为了提高百分之一的正確率而不断尝试。
    大卫又一次把键盘推开。
    “我又失败了。这次的模型直接陷入了局部最优解，出不来了。”大卫揉著太阳穴。
    约翰走过来拍了拍大卫的后背。
    “去睡一觉吧，大卫。你的大脑需要重启了。”约翰建议。
    大卫站起身。
    “我觉得代码没问题，肯定是参数给的不对。明天我把学习率调小一点再试。”大卫嘀咕著离开实验室。
    第二天，亚歷克斯拆开显卡的包装盒。
    “终於到了。这做工，看著就很能算。”亚歷克斯拿起显卡端详。
    伊利亚拿来螺丝刀。
    “赶紧装到伺服器上。我已经把驱动程序下载好了。”伊利亚催促。
    两人合力把显卡安装好，开机测试。
    屏幕上顺利显示出四张显卡的信息。
    “完美识別。现在开始分配显存。”亚歷克斯在终端里输入指令。
    辛顿站在一旁看著他们操作。
    “注意散热，別把实验室点著了。”辛顿半开玩笑地提醒。
    伊利亚启动了训练程序。
    终端窗口开始疯狂滚动数字。
    “速度快了好多倍！这在以前简直不敢想像！”伊利亚盯著屏幕上的时间预估，大声喊道。
    亚歷克斯也露出满意的笑容。
    “这就是並行计算的魅力。老黄这次算是做了一件大好事。”亚歷克斯调侃。
    大家各自守在电脑前，紧盯著自己团队的进度。
    麻省理工的队伍决定放弃支持向量机，开始研究新的分类器。
    东京大学的团队在经歷了三次语法错误后，终於编译成功了第一版底层逻辑。
    印度团队利用全校的閒散算力，终於用了一个月时间，下完了全部的一百多万张图片。