成文飞指了指桌上的智能音箱样机，轻声叹了口气：“你看，现在我们写的这所有神经网络，从数学本质上讲，全都是无状态的函数映射。”
“你给它输入一批数据，它经过前向传播给你输出一个预测结果，算完这一步，网络里所有的激活值就全部清空了，做完就忘。”
“每一次推理都是完全割裂、彼此独立的，它根本没有持久的记忆。”
成文飞走到实验台前，手指轻轻抚过这个工程音箱的外壳，动作轻柔的就像是在抚摸一个孩子一般。
像是在对何凯明做技术剖析，又像是在对自己内心深处的执念自言自语道：
“如果我们只是想做一个听懂‘打开客厅空调’、‘播放周杰伦的歌’的语音遥控器，那无状态函数就完全够用了。”
“但如果我们想要的，是一个能够跟人持续聊天、拥有连贯稳定的人格、清楚记得你们上个月聊过什么话题、甚至拥有属于她自己独有回忆的人工智能呢？”
何凯明愣了一下，顺着成文飞的思路往下深想，眉头也渐渐皱了起来：
“残差结构本身确实完全不自带记忆功能，要想让一个深度网络拥有连续的记忆，我们就必须跳出单纯的分类网络，去解决序列建模的问题。”
“不仅需要长短期记忆网络那样的隐状态传递，未来甚至还需要构建独立的外部记忆库、全局状态管理机制，以及足够长的上下文窗口和检索增强系统……”
“是啊，路还长着呢，一步一步来吧。”
成文飞隐藏起自己的情绪，拍了拍手，把话题拉回了眼前的工程现实。
“而且就算我们现在把这些算法的理论图纸全都画出来，光靠咱们机房里现有的这些英伟达计算卡，也根本跑不动！残差结构让模型可以无限变深、变大，但更深、参数量更大的模型，单卡显存连塞都塞不下，更别提训练了。”
一提到算力和硬件瓶颈，何凯明也泄气了，苦着脸吐槽道：
“咱们现在训这个62层的网络，光是做跨卡的数据同步和梯度汇总，通信延迟就吃掉了将近四成的计算时间！那帮做游戏显卡的海外厂商，底层驱动根本就没有为超深层神经网络的并行计算做过专门优化。
这些天我每天写算法的时间，还没帮工程组那帮兄弟调试显卡通信的时间多呢！再这么折腾下去，我感觉我都成工程组的，而不是算法组的了。”
“别抱怨了，咱们苦日子马上就要熬出头了。”
成文飞笑了笑，压低声音透露了一个消息：“昨天陆远江陆教授告诉我，他们团队专门为我们人工智能实验室做的第一代高通量张量算力卡，RC-1401已经在台积电完成流片封装，最快下个礼拜就能把第一批工程样卡送回深城！”
“新卡有24 组通用计算簇和12GB GDDR5显存，位宽也达到了384bit。”
“FP32可以达到4.1 TFLOPS。”
“等我们拿到第一批工程样卡进行上机测试，只要验证没问题，就可以立刻拉上软件工程组的人，一起动手解决分布式训练的框架和集群调度问题了。”
何凯明听着这个参数，脸上露出惊喜的表情，不过随即又有点遗憾的说：“显存感觉有点低啊，只有12G，目前来说是够用了，明年随着参数的指数级增加，可就不一定够用了。”
说完这句，何凯明以为成文飞会和自己一样感觉显存低，没想到的是他竟然露出一个笑容，然后小声的说道：
“凯明，现在显存小点不怕，反正这卡属于第一代，也是我们陆教授团队解决从成都到1的卡，未来可就不一定了。”
“哦？”何凯明也来了兴趣，追问道：“公司难道有什么新技术能大规模提高显存？”
“陈总给我透露了点，去年咱们无冬大师在硅片上打了一个世界上最光滑，最直的孔，目前化学研发中心，还有半导体工艺团队，正在全力攻坚这个孔。”
何凯明主要是做算法的，他对半导体工艺不是特别了解，有点路易十六挠头的继续问道：“硅片打孔？和咱们要的显存有啥关系。”
“哈哈，这你就不懂了吧？”成文飞组织了一下语言，用比较简单的话解释道：“有了这个孔，就可以把显存裸die像搭积木一样封装起来，走线就可以走在内部或者中介层，这样一颗显存颗粒内部，就可以封装N个裸片，而且因为是内部走线，延迟和漏电会非常低。”
“按照陆教授的推算，如果他们能解决后续的一些工艺问题，按照目前RC-1401单颗粒256M*16的规格，如果一个颗粒可以封装进去2GB的显存呢，那么24颗你算算是多少？”
“整整48G显存，而且是可以合并成统一地址空间的那种。”
（统一地址空间很重要哦，比如K80系列，说是24G，但只支持统一虚拟地址，不是统一地址空间，实际上是12G*2，跑训练只能跑12G。）
“至于再往后？”成文飞摊了摊手，有点向往的说：“可能单颗就封装8G，直接围在周围焊上特么的12颗或者24颗，一张卡就能顶我们现在好几个服务器！”
何凯明的呼吸也变得急促起来，牛逼，真牛逼。
算法上自己和成教授已经有了突破，硬件上红星也已经有了技术储备，那红星在人工智能的未来？
简直不可想象！
一张卡就能有近百G的显存，这样的卡未来得什么模型，什么网络才能完整的用光这么大显存啊。
反正总而言之，言而总之，自己来红星算是来对了！
一句话，此地旺我。