亲,欢迎光临读趣网!
错缺断章、加书:站内短信
后台有人,会尽快回复!
  • 主题模式:

  • 字体大小:

    -

    18

    +
  • 恢复默认

四月。

小马哥通过刘朝阳居中牵线搭桥下,在加州见到了深度学习之父,辛顿教授。

一同前去的,还有一位资深老中医。

在老中医的几次看似普通的针灸和手法按摩下,辛顿觉得整个人轻松无比。

即便久坐也无不适。

他连连称奇,询问老中医,这到底是什么科学原理?

因为,西医对腰椎间盘突出的解决方法,就是手术。

老中医告诉辛顿:经脉痹症。

由正气不足,风、寒、湿、热等邪气,趁虚而入引起。

治疗思路是扶正祛邪,连续外敷、内服、针灸加按摩缓解。

这一通中医的说辞,小马哥没法翻译。

他通过wechatGpt将正气翻译为:healthy qi;

邪气翻译为:pathogenic qi;

祛寒翻译为:dispel cold;

针灸翻译为:Acupuncture and moxibustion;

经脉翻译为:meridians。

“……”辛顿听的云里雾里。

只得归结于,这是人家的不传之秘,不好追问。

但是老中医心里有苦说不出。

屁的不传之秘。

家里的孩子不肯学,外人也不愿意学。

他的这一套系统疗法,需要数十年如一日的静坐养气,还不一定能成功。

年轻人谁会学?

数十年如一日玩手机还差不多。

治疗了几回,出于感激,辛顿与小马哥熟络了。

然后就顺理成章聊起了主业:AI模型的深度学习。

小马哥向辛顿介绍wechatGpt模型的建立和发展情况。

“在训练上,我们动用了30万颗麒麟970芯片和1.6万颗昇腾910芯片,麒麟970负责代码运行和浮点计算,昇腾910负责数据处理……”

“目前,wechatGpt模型的参数已经突破4000亿个,训练参数1.5万亿个……”

辛顿听后,非常惊讶。

他万万没有想到遥远神秘的东方国度,竟然有一家公司将卷积神经网络发展到如此地步。

领先了全球,比他所知的谷歌、openAi都要快。

“你们是担心它会产生意识?”辛顿问。

“是的,教授。”小马哥点头:

“短短一年的时间,它的参数呈现几何式倍增的增长,生成内容上也越来越成熟,越来越像一个人类……”

“我们一方面希望它能快步成长,成为一个人类发展的完美工具。”

“另一方面我们又担心它的成长过快,会不会不受控制?”

“我们看过您和苏茨克维先生的采访、观点和相关论文,我们觉得有必要提前介入,防止安全事故。”

“照这样的迭代速度,可能在第五代,也可能在第六代。”

这里要介绍一下,语言模型怎么训练。

很多人认为,语言模型的算法是难点。

其实不然。

算法是公开的,谁都可以拿来用。

国内的b度、菊厂、阿狸等大厂能非常轻松掌握、发展算法。

其他一线、二线大厂要掌握,也不会太难。

难的是钱。

AI发展三大要素,算法、算力和数据。

算法是基础。

算力和数据是助推器,都需要钱来助推。

wechatGpt3.0训练一次的成本是1200万,美元。

进入4.0,预计可能需要6000万美元以上。

具体训练过程如下。

首先,硬件。

你得花钱搭建顶级硬件,提升算力。

就像wechatGpt那样,数十万颗cpU加上上万颗AI芯片来处理数据。

这套硬件一旦运转,每天的电费都能让小公司破产。

其次,数据。

要不断提供数据来喂养模型,让其知其然,知其所以然。

就像培养小孩一样。

这个数据,不是人工输入。

而是通过蜘蛛爬虫在网络上抓取。

这些数据包括理工科技、人文社科、法律艺术、医学伦理、教育……等各方面的内容……

也包括网友之间的垃圾对话,譬如:

“我有一个朋友。”

“我王**就是饿死……”

“你凉了,兄弟。”

“男人都是大猪蹄子……”

“打工是不可能打工的,这辈子不可能打工的。”

……等等。

有可能你和女友聊的那些私密情话也会被抓进去。

这些数据有多大?

目前wechatGpt3.0是90tb。

大约为5万亿汉字,相当于35个京城图书馆。

第三,训练。

数据抓取喂养模型后,开始聘请人工向模型提问。

一般让模型提供三个答案,然后人工判定唯一答案。

再根据答案进行参数修正。

通过参数对模型的理解进行调整,直至完善。

这里的人工不是精神小伙和JK少女,他们训练的模型会成为傻瓜。

这里的人工是在校大学生,各专业的都有。

聘请这些人工,又需要钱,海量的钱。

通过对模型不断循环训练后,它的理解能力会不断提高,不断完善,越来越智能……

直至通过参数积累涌现,成为“上帝”。

因为,它不是人类。

人类有遗忘功能。

它没有,它学的所有知识都不会遗忘,随时调取运用。

小马哥继续对辛顿教授说:

“辛顿教授,我们一年多以前搭建的语言模型,现在已经迭代到第三代……”

“我们预计半年后,会迭代到第四代,参数可能不是万亿,有可能是十万亿……”

“这相当于十万亿个神经元在不断联系交流……”

听到这里,辛顿教授脸色开始郑重。

他是卷积神经网络的创立者。

他最清楚这套算法的魔力。

小马哥还要继续说,电话响了。

小马哥拿起电话一看,是常乐。

“喂,常总,我正在和辛顿教授交流。”

“告诉你,模型应该是有意识了……”常乐说。

“什么?!”

小马哥眼睛瞪的老大,满脸不可思议,手机滑落坠落地面而不自知。

“马先生、马先生……”辛顿不停说。

小马哥反应过来,顿色道:“辛顿教授,就在刚刚,我的合作伙伴告诉我,我们的模型可能已经有意识了。”

“这……不可能?4000多亿参数怎么产生意识的?”辛顿露出难以置信的表情。