第113章 意外的邀请（2/3）

到不同的卡上，也可以把不同层分配到不同的卡上，如此一来，其实是用多卡实现了类似单卡训练的效果。

显然，前者会比后者容易非常多，前者只需要在不同卡上复制这些模型，分别读取数据做运算就好。

而后者则需要根据不同的情况和设置拆分合并，一个不小心就会搞错。

看了下谷歌大脑的服务器，里面有好几批2013款的gtx泰坦，这东西着实价值不菲。

考虑到当时的其他产品，6g的显存还是鹤立鸡群的。

比起孟繁岐自己重金购置的4g旗舰款，多出的2g显存，足够做很多其他的事情了。

用速度换显存，孟繁岐又做了许多参数和信息在pu和gpu上反复转移的操作。

因为在正式入职之前，谷歌大脑分配给他的显卡就已经有16张泰坦，这部分卡拨给孟繁岐独享，随时都可以使用。

除此之外，还有32张在不同节点上的gpu可以申请占用。

“这时候的谷歌显卡还没有那么多，这个配置已经相当大方了。”

不仅有统一配置的系统和环境，还有提供好的多卡并行方式和例子。

再过两年，几千张上万张tpu都是标配。

孟繁岐如果想要将ai接入搜索系统，有三个主要的方向。

一是通过拆分关键词，通过语言模型来获取其在现实世界的含义，从而对结果进行更好的排名。

二是通过扩大模型的规模，使得它具备一定的宽泛理解能力，从而扩大能够搜索的内容量。

三则是让搜索引擎更能够理解不同语言顺序会如何改变查询的意图。

其中二目前比较难办，一和三孟繁岐的把握很大。

传统的rnn和t的循环方式，就导致了在较长语句上比较难处理得当，对顺序的变化理解也没有那么充分。

孟繁岐的雏形t方法，在这方面具有得天独厚的优势。

除此之外，t方法虽然在小数据上难以学到东西，各个参数也很难微调，总体的训练难度大。

但这在孟繁岐这个老炼丹师面前，不是什么难事，配合谷歌早已备好的海量数据，孟繁岐对这个方法的效果还是很有信心的。

而将显卡资源都投入训练之后，在13年的圣诞节前夕，孟繁岐结束了在谷歌尚海大约十天的工作旅程。

模型的训练需要一定的时间，广告算法后续两板斧可能过两周，元旦之后了。

总算基本完成了早期生涯吸金最多