重生2010我脑中的AI太强了 第60章 开始强化学习训练

之后几天，有点等不及的陈一然开始高强度骚扰 ted。

“绿卡怎么样了。”

“不是吧大佬，我是律师，我不是美国总统！i-485 和 i-140 都交上去了，指纹也打过了，移民局那边没有要求补件，也不需要排期，但是美国政府的效率就是这样的，只能等呀。这周从周一到今天周三，你天天给我打电话催也没用啊。”

“下雨天打电话，閒著也是閒著。”

“我中文很好！我知道这个歇后语！大爷啊，你饶了我吧，你这么想买枪，先去靶场过过癮就可以了啊。桑尼维尔那边，有一个华人开的室內靶场，老板我熟。给你打折，你少催我一下行不行。”

“把地址给我，有时间我去看看。”

陈一然说是这么说，还是坚定的每天给 ted 打电话，然后又开始阴阳怪气。

什么这么大的律所，就没什么特殊渠道。电影里人家都是隨便打几个电话，联繫几个大人物就搞定了。fenwick & west 的能力和人脉，看来也就那样之类的。

周五早上，ted 被折腾的不行，给他下了保证之后的两周一定能给办下来，求陈一然下周放过他。

陈一然嘴上同意了，但是觉得还是看看下周心情，心情不好还是可以继续打电话的。上次一个案子可是给了律所 30 万美金，为了帐单好看一些，ted 把车子保养的时间都算在他头上了，美其名曰，是因为频繁开车来找陈一然，才导致车子需要保养，所以这时间也要算时长。

不过到了到了公司，陈一然的心情变得很不错。

因为高德伟给他匯报，团队已经跑完了两个 baseline，然后把一张纸给了他。

这是林志伟整理的完整数据表格。

adaptec1，二十万个 cell。

隨机 baseline：hpwl 是 ispd 2006 官方公布最优解的 2.3 倍。

模擬退火 baseline：经过阿密特调的参数，跑了一整夜。最终 hpwl 收敛，成功达到了官方最优解的 1.18 倍。

可以说，第一次测试，就超出了预料。

陈一然一边看数据，一边让茉莉查缺补漏。

“林志伟，你在 synopsys 的时候，ic compiler 刚开始跑 adaptec1 第一次结果是多少。”

“1.15 到 1.2 之间，要再调很多参数才能逼近 1.05。”

“我们现在一周调出来的模擬退火，已经接近 synopsys 商业工具的新手设定了？”

林志伟靠在椅子上有点兴奋的说：“这还只是模擬退火，我们真正的方向是强化学习训练，老板你真神了。”

高德伟转过来看陈一然：“说得对，模擬退火只是锚点，强化学习训练什么时候能开始。我有点迫不及待了，我没想到 deepflow 增量计算可以这么强！”

“周天佑你那边集群状態怎么样。”

“三台 r710 全负荷已经跑了两天了，因为有 deepflow 的增量计算做底层，每次 cell 移动不用重算全图线长 —— 传统模擬退火一晚上跑几万次扰动，我们跑了快两百万次。所以 adaptec1 一次完整 sa 收敛只用了六到八小时。

这还只是用 deepflow 当加速器。强化学习训练的时候就不一样了。按照我们的计划，deepflow 不只是算得快，它可以在几十个並发上同时探索不同的 placement 方案，然后把经验匯总。”

陈一然点点头说：“我懂你们的意思了，所以说 gpu 迫在眉睫了是吧。”

高德伟点点头说：“计划赶不上变化啊，老板你这个 deepflow 写的太好了。没想到效果这么好，我原计划是先验证 baseline 跑通了再考虑 gpu 扩容，按照我最初的估算，工具链搭建加 baseline 怎么也要三四周，要是不顺利的话，可能得一两个月。”

周天佑在边上表示赞同：“强化学习跟模擬退火可是不一样的，模擬退火是传统算法，cpu 就够了。但强化学习要训练神经网络，纯 cpu 一次叠代不是小时级的事。我建议我们必须买 gpu 了，r710 每个每个上面能插两个。”

拉杰在感觉自己终於有了用武之地，赶紧开口：“用 c2050 就可以，nvidia 內部做 cuda 验证用的就是 fermi 架构的测试卡，跟 c2050 同代。我在验证团队的时候跑过不少计算密集型的负载，双精度浮点性能对 placement 的神经网络来说足够了。“

“行，这种应该不是我们去 bestbuy 就能买到的吧。“

陈一然拿出手机，打给了琳达。

“琳达，帮我找渠道订六块 nvidia tesla c2050，还有对应的 dell 的 pcie 扩展套件，r710 用的。快的话今天，最慢周一应该是能送到的吧。“

“好的陈先生，我可以帮您联繫，戴尔和英伟达在硅谷这边发货很方便的，下午应该就全能给您送来。“

掛了电话，公司里所有人目瞪口呆的看著陈一然，

还是高德伟直接开启了吐槽模式：“这就是有钱人吗，我们自己联繫戴尔不就好了，你这还要使唤別人。“

“这叫高效，节省时间。“

陈一然又看相周天佑问了一句：“企业级的 gpu，也不难装吧，我还真没见过呢，今天下午到了马上就能装好吗。”

周天佑点了点头：“好装的很，隨便搞搞就弄好了。下午应该能跑第一轮。先上 adaptec1，小规模，跑通端到端的强化学习流程。如果只是验证流程一两天，但要看到比模擬退火明显好的线长数据，大概还得一周，我需要仔细调整神经网络的超参数。“

“很好，你们看因为找了人，下午就能到货工作。要是我们自己定，周一都不一定拿得到呢。行吧，会议结束，大家都回工位上干活。”

眾人也没马上离开，而是开始互相核对信息，更改白板上的 todo，还归档了之前的项目进度。

陈一然觉得公司的氛围还不错，或许初创公司都是这样的，员工都还很有心气。

为了鼓舞士气，陈一然乾脆决定今天中午在单位请客了。

虽然附近也没有什么好的外卖，最后只点了棒约翰。

但是一群人一边等设备，一边聊之后的计划和技术，一边发分享披萨的样子，还真有点像电影中初创公司奋斗的场面。

大通银行的话，通常都不会食言，下午一点钟，dell 的物流车停在了办公室门口。英伟达的货他们也有的一起送来了，毕竟都算是配套的东西。

几个箱子，周天佑带著桑杰刘毅拆箱检车了一下，確定了货物都在，就搬进去开始装机。

r710 开盖加卡要拆风道，还好拉杰非常的熟练，其他几个理工男手上活也都不差，围著机柜折腾了二十分钟就搞定了。

下午两点，第一行 cuda 代码就跑通了，到了三点，强化学习训练的环境全部配置完毕。

这也算是公司，一个里程碑式的事件了。

陈一然被眾人围著，深吸一口气，在终端前面敲了第一个训练指令，屏幕上的 log 开始刷新。矩阵乘法，梯度更新，loss 下降曲线。

开始之后的 loss 降得非常慢，这是正常的，神经网络刚开始什么都不会，基本可以说是纯智障。

至少得跑个两三天，才能有效果。

晚上陈一然本来又想搞团建，但是汉娜给他打了电话，说本来她姑姑要来找他们一家。但是说她姑姑临时起意，要去音乐节，就给他们家放了鸽子，让和姑姑很亲的小姑娘很是不满。

既然小姑娘过来诉苦，陈一然肯定得去抚慰一下她幼小的心灵。

而且陈一然突然想到了上辈子看过的很多搞笑段子，领导总是莫名其妙的喜欢团建，还是下班的时间。

恐怖啊，陈一然惊出一身冷汗，这就是当老板的诅咒吗。当了老板，就开始喜欢各种各样的集体团建活动了。

告別了眾人，陈一然率先下班了，一边开始一边和茉莉聊天。

“茉莉，以后我再要搞团建，你得提醒我一下，让我看看合不合適。”

【好的，我记住了。但是实际上，我觉得，作为公司重大事件，晚上搞个团建也是合情合理的。╮(╯▽╰)╭】

“行吧，反正你记得提醒我就好了。”

一路开到圣塔克拉拉大学，接上了愤懣的小姑娘。

“音乐节是月底的！我看我姑姑就是想和新的小男友玩，就不来看我了。”

“是啊是啊，太坏了。”

“一点亲情都不顾，她和这个男朋友肯定也长不了。”

“就是就是，长不了。”

“气死了，我们也去音乐节玩吧。”

“对啊对....... 不对啊，什么音乐节。”

“蒙特娄国际爵士音乐节，好像算是世界上最大的爵士音乐节了。”

陈一然开始开动大脑，想找个理由拒绝，很快找到一个非常强的理由。

“唉，蒙特娄是加拿大是吧，我也想去，可惜啊，我没加拿大签证呢。”

“这样吗，真可惜。”

这时候车上放著的音乐停了，有电话接了进来。

ted 的声音从车载音响中传出：“大佬啊，好消息啊，不用等下周了，你的绿卡已经下来了。youre a permanent resident now!”