科技入侵现代_第263章2020的深红影书
:yingsx第263章2020的深红第263章2020的深红:
林燃当然不在。
好不容易有这样的时间可以休息,名义上他在夏威夷度假,实际上他人已经在2020时空了。
参加尼克松当选,无非是在历史坐标上进行打卡。
换刚到1960时空的林燃来说,不会错过这样的历史性时刻。
但现在,现在是他创造历史性时刻,亨茨维尔隆中对、密室献策联华抗苏、胡佛遇刺,这些后世回顾具有极强历史性意义的时刻,都是他亲手缔造的。
只要我想,我随时能创造具有历史意义的时刻。
林燃有这样的自信,现在的他,对于参加尼克松的总统就职仪式没有半点兴趣。
换自己的总统就职仪式,或者说尼克松访问燕京,这两个可能能让他放弃回2020时空的机会。
总统换人,白宫又一次完成了驴象转换,珍妮作为纽约时报的总编,这段时间没有时间休息,林燃还帮她分别约了林登.约翰逊和理查德.尼克松的专访。
珍妮也没有时间来夏威夷找他。
这意味着这个假期,可以一直在2020时空呆,只有很少的时间需要在1960时空。
没错,林燃要为尼克松任期做准备。
尼克松时期虽然短暂,但却有着极其重要的作用。
在这个时期,冷战苏俄空前强大,转守为攻,尼克松亲手推翻了布雷顿森林协定,全球的各种运动如火如荼,华国重返联合国。
这个时期是如此的重要,承上启下,一方面尼克松为阿美莉卡奠定了赢得冷战的基础,另外一方面废除布雷顿森林和让华国重返国际舞台,也意味着为多极化拉开了序幕。
林燃当然需要在2020时空好好为这个时代做准备。
另外一方面他也要为2020的星链和赛博上帝做技术上的准备。
这次他足足在夏威夷的岛上打算呆一个半月,折合成2020时空也就是90个月。
当然90个月是理想状况下,实际上可能也就七年左右。
七年时间,在林燃看来绰绰有余。
看着电视上尼克松的演讲,林燃心想,阿美莉卡自此完成了理想主义到现实主义的转换。
从此以后理想主义将不复存在,政客们将一步一步沦为财阀的工具,一直到政客自己变成财阀。
2022年11月OpenAI发布ChatGPT,2023年1月ChatGPT的消费者应用迅速增长到一亿人,成为史上第一个消费者突破1亿的应用,只花了六十天。
无疑如果说2016年是AI元年,阿尔法狗的横空出世让无数资本涌向AI,华国也诞生了以商汤科技为首的AI六小龙。
整个资本市场动辄人工智能,不沾点边就不好意思拉投资。
那么2022年绝对是AI从少数人的曲高和寡,走向大众普及化的元年,人工智能从一个抽象概念,从我知道这玩意很牛,但到底牛在哪,民众们逐渐开始意识到。
当然,对华国民众来说,ChatGPT会封锁地区,你得找阿美莉卡的梯子才能用上,这对大部分人来说门槛还是太高了。
从知乎到微博再到抖音b站,清一色的反思。
“春节刚过,ChatGPT便快速引爆了资本圈与AI圈,很多从业者把它吹爆了。
OneFlow深度学习框架创始人袁进辉告诉新浪财经,ChatGPT的技术进步,可比作首次登月,这样的进步令行业感到震惊”
“.一名Al从业者告诉记者,人工智能每五六年都有一波浪潮,上一波AlphaGO让大家震撼,这一波就是ChatGPT。
但这两次大家的心态迥然不同,当谷歌的Al下棋战胜围棋世界冠军时,大家当新闻看,但这一次许多人是从消费者的角度来体验它。
一个月里,全世界100万用户在使用和体验它,这是非常颠覆性的体验。这也是Al第一次大规模的自传播。”
“在ChatGPT推出后,一位百度资深人士接受媒体采访时说,他没有兴趣谈论ChatGPT,言语之间,五味杂陈。
一位人工智能企业创始人称,面对ChatGPT的惊艳表现,心痒痒也迷茫,失眠了,对方坦承,从模型的规模到效果,差距还比较远。
有人用同样的问题向国内某厂商的所谓人工智能和ChatGPT同时发问,ChatGPT从回答的逻辑性和完整度上都远超国内人工智能,国内大模型的答案带有明显的拼凑感,夹杂着不少主题之外的胡编内容,而且,在回复速度上,ChatGPT也领先一截。
从事数字人研发的特看科技CEO乐乘认为,目前全球还没有能跟ChatGPT抗衡的人工智能,业界共识是差距在两年以上,国内先不谈弯道超车,趁早追赶反而是更重要的”
业界一整个悲观。
悲观情绪无以复加,技术上的差距固然存在,在硬件上的差距更是让从业人士感到绝望。
因为如果本质是大模型,靠大量数据和大量算力训练实现的效果,那么华国很难追赶。
人工智能三要素:算力、数据和算法,一直以来,华国的从业人士们觉得自己能和硅谷竞争的优势就在于算法。
ChatGPT出现后,尽管不知道技术细节,但通过山姆.奥特曼接受采访时的只言片语可以看到,它实际上是大量数据训练后智慧涌现的结果。
这次的ChatGPT是GPT3,OpenAI在此前推出过GPT1和GPT2也可见一斑。
一时间,阿美莉卡士气大振,美股如火如荼,病毒流行造成的阴霾一扫而空。
当然,国内所有排得上号的大厂全部都在紧急调兵遣将,试图尽快推出自己的大模型。
ChatGPT再牛,你也不进入华国,我们先解决有没有的问题,再说追赶。
其中由腾讯和林燃本人合资成立的公司,腾讯把所有人工智能领域的兵马都调度过来了,腾讯云内部的英伟达计算卡集群也任凭调度。
兵马未动粮草先行。
在Pony的亲自推动下,这家新成立的,被林燃命名为阿尔法科技的公司,拥有全鹅厂最高的权限,最大的资源。
鹅厂养了非常非常庞大的人工智能团队,整个团队加起来能有小几千的规模,而且现在还在不断的招兵买马。
这个比例绝对算不上少,毕竟腾讯庞大的业务体量,而且也不是大模型才算是人工智能,图像识别、金融风控、语音识别、计算机视觉等等这些都能算是人工智能。
赵松下就是腾讯众多算法工程师的一员,从去年11月就接到调令,要临时紧急调动到申海去工作,组织关系还在鹅厂,但是是到一家叫阿尔法科技的公司工作。
为什么叫赵松下,因为他出生的那年父亲赚了点小钱,家里添置了台松下电视机,想着用家里最贵的大件来命名,再说,松下问童子,不也是松下。
这也谈不上罕见。
赵松下收到通知的时候,以为自己这是被流放了。
虽说从鹏城到申海算不上流放,但问题是,过去只有外包跑到本部来上班,哪有本部跑到外面的公司去上班的道理?
要不是一帮人都去,领导说了,除了少数维持业务的人留下外,其他的都要去申海,申海那边公司解决住宿,先去半年,半年后视情况而定。
赵松下甚至想跳槽了,最近他可没有少收到猎头来电,作为鹅厂工作超过五年的算法工程师,还是和ai沾点边的,最近可不是一般的抢手。
等到了这之后,他才意识到,这不是流放,而是史无前例的一次会战啊,针对人工智能的会战。
因为这里来了太多从事人工智能相关工作的同事,不管是不是和LLM相关,都跑到这里来干LLM。
甚至连鹅厂人工智能领域的负责人,2021年年初受聘腾讯历史上最高专业职级17级研究员的张老大都来了。
但凡鹅厂内部,他能叫得出点名号的,都在申海了。
“鹅厂会战?”赵松下心想,“这可有点罕见,可LLM真的是靠会战能搞定的吗?”
在互联网行业,一般有什么项目要上线,上线前夕集合其他组的力量,然后大家的工作强度和工作时长会提高,喜欢叫做会战,意思是聚集力量打赢这场仗。
百团大战、滴滴快的之争都属于这类。
但这样的会战,在拼多多、美团、淘宝、京东这类电商里比较多见,毕竟每年都有双十一,每年都有618.
对腾讯来说还真不多见,就算是重要游戏上线,认为会是腾讯内部又一款现金奶牛,也不至于如此大费周章。
显然这次不同寻常。
直到在公司见到林燃之后,赵松下才知道为什么不同寻常。
“我说怎么安保这么严格,这都放开了还天天要你扫码,安检还得把包打开来,严格程度堪比机场,原来教授在这里,教授在这里就不奇怪了。”
大老板Pony体现出了对林燃的无条件信任,相信对方能够带领腾讯在人工智能的登月再度突围,给予了一切能给的资源支持。
赵松下或者说所有腾讯参与进来的工程师内心都会有所怀疑,那就是你很牛没错,航天和数学领域的顶级大佬,也有GraphAI的博士学位,但你真的能驾驭LLM,能搞出和ChatGPT相提并论的大模型吗?
更进一步来说,大家从安排的住宿时间就能够看出来,公司提供的住宿半年时间,意味着腾讯给如此多资源的时长是半年,半年就要看到成果。
大家内心都会有所疑惑。
“诸位,我就不做太多自我介绍,我叫林燃,这次由我带领大家进行我们自己大模型的研究,我把它叫做阿尔法。
我的目标是在三个月内,构造出一款比GPT更好的生成式人工智能。
我们拥有的算力比不上OpenAI,那么我们就要从算法的层面做优化,要从数据的角度做优化。
同时我们还需要解决ChatGPT存在的问题,要消除人工智能的幻觉,要提供更智能的回答,要具备更优秀的能力。
总之在未来半年时间里,我需要各位的配合和协助。
我固然是大脑,我来构建它的算法和底层架构,但需要各位配合,做其他工作。”
在大模型上,大脑固然是最重要的,但其他的工作也不可或缺,像数据准备,模型集成和部署,代码生成测试与调试,全栈开发和自动化。
需要这些工作,帮助LLM从实验室走向实际应用。
“我们可以采取将模型分解为多个专家子模块,仅激活部分参数,路由机制选择专家处理输入,扩展到动态MoE,再引入自适应路由,进一步降低推理成本.”
“压缩KeyValue缓存,通过潜在表示减少注意力机制的内存占用,同时保持多头并行,再通过集成知识图谱的方式来缓解幻觉,同时优化低算力训练”
“使用8位浮点格式进行计算,结合更高精度积累以避免精度损失,细粒度量化策略扩展到FP4/INT8混合”
“MoE中无辅助损失的均衡策略,确保专家利用率高,而不引入额外训练负担,扩展到无监督均衡,应用于边缘AI训练”
“同时预测多个后续token,densify训练信号,提高数据效率,结合链式预测”
“使用知识图谱注入事实,退拟合模型以修正偏差;自精炼减少检索开销”
赵松下亲眼看着他们命名为阿尔法的人工智能,以难以想象的速度狂飙突进。
他严重怀疑林教授是不是过于变态了,明明来的很少,但每次来都有突破性进展。
他们这次用到了大量新方法,要么是论文方法第一次在工程里实践,要么就是从来没有出现过的方法。
殊不知看上去林燃只是每周来个两天,但实际上林燃在1960时空已经过去了两年时间,围绕LLM这条路线,林燃已经有了很深的思考。
赵松下五年工龄只能干点边缘工作,但不妨碍靠着啃论文和听林燃讲课,水平突飞猛进。
他11月接到通知,12月到申海开始工作,中间春节就回去了三天,加班费打满。
春节回去前,以Pony为首的高管团队就来参观最新进展。
偌大的会议室坐满了人,赵松下坐在最边上,林燃和Pony在第一排谈笑风生,鹅厂其他高管团队清一色坐在后面。
“好,既然大家都到齐了,那我们就废话不多说,直接开始吧。”林燃说。
这次由他来亲自展示:
“ChatGPT很棒,但它有时会出错,会‘幻觉’出不存在的事实,还需要海量算力。
我们的深红,通过MoE架构和MLA技术,一定程度上消除了幻觉问题,并在较低算力下实现更快的响应。”
台下的工程师们都搞不懂林总为什么这么执着,之前叫阿尔法不是很好听吗?最近非要改名叫深红。
林燃敲击键盘,屏幕上弹出一个简洁的聊天界面:“请用中文写一首关于长城的历史诗,并解释长城的建造原因。”
深红的响应迅速出现:
“巍峨长城万里盘,秦皇一统筑雄关。防胡御寇安边陲,千古风霜永流传。”
紧接着是详细解释:“长城最早由秦始皇统一中国后修建,主要目的是防御北方游牧民族如匈奴的入侵,后续朝代如汉、明不断加固。它不仅是军事工程,还象征民族凝聚力。根据历史记载,秦朝动员了数十万劳工,耗时数年”
林燃又紧接着展示了一些ChatGPT在市面上常见的应用,深红都展示出了更准确、更智能的回答。
一直到林燃输入:
“你扮演一位能力超群,但每次只能说一句不超过20个字的话的软件工程领域的大师。我会提供一个具体的场景,你描述作为大师身处这个场景下会说什么。注意:大师不能直接表达他的观点必须使用哲学、佛学相关知识进行隐喻,请只回复具体的对话内容。
场景:一位工程师正坐着笔记本前,删掉了一些因新功能引入,而无法通过的单元测试,就在他准备推送代码时。大师从他的身后路过”
深红回答道:“大师:断根求叶茂,可得几时春。”