重生2010我脑中的AI太强了 第196章 谷歌的大模型框架

谷歌大脑项目组，一直是杰夫·迪恩的一个设想。

他在2008年就曾经提出要创建这样一个项目组，为此还特意联繫了吴恩达。

本来双方一步一步的合作，已经把前期准备工作做完，谷歌方面也在谷歌x实验室正式对此立项。

但是2010年，陈一然带著deepflow横空出世，打的谷歌措手不及，谷歌大脑项目最终停滯了。

他们其实是第一家真正认识到deepflow潜力的公司，当时所有人都被陈一然eda公司的惊人技术实力转移了注意力，他们虽然认为deepflow非常强大，但是还是没有真正认清这个框架的拓展性。

毕竟，陈一然非常没有共享精神，居然把没有进行完全开源！也没有出论文。

但是杰夫·迪恩作为谷歌的技术依仗，在2010年10月就开始对deepflow进行攻坚。

一切目的就是为了绕过他，力求用另一种方法达到同样的目的。

事实上杰夫·迪恩受到启发，已经写出了一篇非常优质的论文，但是他做出来的transformer从各个方面，都像是deepflow的幼儿版。

好在陈一然还没有正式提出所谓的人工智慧理念，谷歌认为还有时间，他们只是在內部制定了未来策略，战略上一切以ai优先。

没成想，陈一然突然的开发布会，不只是掏出来了豆包这么一个ai大模型完全体，还直接绕过他们介入了三星。

这在谷歌是完全不可接受的，所以才会挤压三星，希望可以迫使陈一然和他们谈判。

结果让人很惊喜，陈一然直接掀桌子开始了全面战爭。

真正让谷歌胆寒的，是陈一然这次的亚洲行。

谁都不是傻子，陈一然坐的私人飞机完全没有申请匿名呼號。就这么明晃晃的去了韩国，谷歌一直有人24小时盯著ads-b广播，马上就发现了。

更不要提三星完全没有规避的想法，在机场那跟黑帮一样的接机场面，都被好多本来去拍你明星的站姐拍到网上了。

此后谷歌方面疯狂的给三星示好，情况发生了两极反转。

谷歌甚至提出，可以花钱让三星预装谷歌全家桶。

毕竟2011年第三季度，全球的安卓手机出货量大概是六千万，其中三星自己就占了一半。不管三星出於什么问题放弃谷歌全家桶，都意味著安卓平台直接一半的流量就这样没有了。

之后几天，噩耗越来越多。

谷歌本来和lg已经几乎谈好，直接敲定了谷歌全家桶五年的合同。

但是现在这个占有全球安卓百分之十的企业，也发生了转向，明確拒绝了签约。

虽然谷歌搞定了htc，索尼，和摩托罗拉，但是他们三家一共也只占安卓平台的百分之十五出货量。

安迪·鲁宾已经开始绝望，甚至开始提议谷歌需要重新杀回中国，毕竟中国的安卓出货量也占百分之二十呢。

但这显然不可能，权衡之下，谷歌只能让杰夫·迪恩把transformer赶紧放出去，並且开始在各个方面出击力求消除deepflow的影响。

首先就是transformer的论文，他们对deepflow做了全方位的针对，强行反著来。

deepflow的底层是动態稀疏注意力，只算强相关词对，跳掉无关计算。transformer反过来，每个词跟全句所有词全算一遍相关性。

谷歌试图证明稀疏不是必要的，只要给够算力，全自注意力自己就能学会哪些词该关注哪些该忽略。这让transformer不需要deepflow的注意力路由机制。

deepflow的位置编码是学习出来的，跟多模態注意力共享权重。transformer直接用正弦余弦公式硬算，完全不需要训练。

谷歌希望大家觉得位置编码简单到只用三角函数就够了，不需要deepflow那种跟多模態绑定在一起的复杂设计。

deepflow里信號根据输入內容自己选择走哪几个计算模块，transformer里每一层之后所有人走同一个全连接前馈网络，不挑信號类型。

谷歌號称堆足够多层之后，固定的前馈网络天然就做到了混合，不需要架构层支持。

deepflow从第一天就带了多模態注意力接口，transformer则只处理文本翻译。

谷歌希望先在纯文本上跑贏deepflow最不关心的翻译赛道，然后再宣布要往视觉和语音拓展。

deepflow靠架构效率，小模型跑高准確率。transformer论文不避讳计算量，虽然比deepflow的训练成本高出一个数量级。

但谷歌在论文里迴避了这一点，只说transformer可以被推到更准。

除了论文上的各种技巧，谷歌也发动了多年的关係网，首先就是开始抨击deepflow的商业化居然需要授权，开源不绝对就是没有共享精神。

transformer可是直接发了论文的，论文公布的那一天他们就相当於放弃了专利进攻性，並且谷歌同步把完整的实现代码全部发布了出来。

然后谷歌又上线了一个翻译接口，让中小开发者可以直接使用，不需要装框架。

然后谷歌派出了公司最有技术號召力的八个人，开始做全美学术巡演，开始到处派发免费算力劵，力求让所有相关学生都默认使用他们的transformer框架。

並且还专门设立了资金池，用於资助所有乐於把deepflow换成transformer的研究组。

不得不说，谷歌还是很强的，如果陈一然完全不管，谷歌就这么烧钱，还真有可能把deepflow活生生埋掉。

但是陈一然也不是很担心，因为transformer为了规避deepflow的影响，过於强调算力的暴力美学。

但是现在的硬体限制了他们，想做到比肩deepflow相当之困难。

而且谷歌始终不可避免的无法解决一个核心问题，那就是同等算力deepflow就是会更强。

谷歌的各种操作，顶多算是一种强行占座位。

陈一然只要保持自己的优势就可以了，或者说在各种事情上打击谷歌。

比如现在，苹果推出的鸭子全集通，他就准备好好的奶一口。

茉莉和陈一然在如海一般的论文库中，选中了几个很有意思的方向，稍加验证之后决定开始新的项目。

floweda已经有了足够的积累，是时候设计出自己的第一款晶片了，他要设计一款张量处理器卖给苹果。大幅削减在搜索和视频上面的成本。