大语言模型是人工智能的一个落地应用方向,基础逻辑就是模拟类人神经网络,当训练数据达到一定规模时,会产生不可思议的效果,路阳就知道chatgpt的训练数据就是1750亿才开始爆发,有了质的变化。
这个过程还需要人类来做干预训练,让模型能给出更加接近的正确答案。
不过,对于中文数据来说,最大的问题还是数据质量。
数据质量越高,模型的训练结果越好,而华文数据质量,路阳只能苦笑着摇摇头。
巅峰时期的华国互联网,优质网站数量接近千万级,而到了2019年,这个数量降到了400万,曾经的四大论坛,天涯、猫扑、微博、贴吧,天涯半死不活,猫扑消失殆尽,至于微博,娱乐文化仍占主流,直到华芯的崛起,才让科技板块逐渐有了起色。
至于贴吧,男科不孕不育了解下!
唯一还在苦苦支撑的就只剩下知乎一支独苗,然而在大浪潮的侵袭下,90%以上的数据变成了打拳、键证、润学,水军、自媒体、营销号、饭圈总是喜欢为了点鸡毛蒜皮的事吵得天翻地覆,可谓是垃圾场里建游泳池,不似粪坑胜似粪坑。
当然,国外的互联网也不见得好到哪里去,但他们的体量庞大。
路阳最近还让人帮做了个统计,假设中文文本数据10亿条,高质量数据占比1%,英文文本数据20亿条,高质量数据占比5%,过滤后,可用于AI训练的中文数据只有1千万条,而英文有1亿条。
这个量级的差距,就算路阳占得先机,最后训练出来的结果也无法超越英文文本训练的人工智能。
实际上,英文互联网比华国要早几十年,真正的差距只会更大。
如果不过滤,那华国的数据肯定是足够的,但成长于充满广告、饭圈、矛盾争吵的数据环境中,路阳无法想象最终训练出来的模型会是什么样扭曲怪物。
中文数据还有另外一个大问题,那就是数据孤岛,国内的大厂从融资、估值到上市,都需要用户数据来讲故事,所以大量的数据被封闭在各大厂与平台中。
千度、阿里、企鹅都直接或间接的屏蔽了各自爬虫,即便有开源模型,数据也不会对外开放。
“提高华国互联网的优质数据,这方面已经提前在布局,而要解决数据孤岛问题,就得依靠国家的力量。”
路阳在心中思索着,电子科技大这边的行程,就是为了解决数据问题,华芯数据中心建成在即,需要大量高质量数据做填充,于是他计划与电子科技大这边合作,打造华国最大的知识分享社区。
硬件GpU部分,摩尔10月下旬即将发布首款自研专业级GpU,软件就得依靠这个平台。
应若涵的执行力是路阳最为佩服的,不到三天时间,来自华国前三的超导研究团队的专家进驻华芯二院,配合施小云设计零度控制系统。
“人都到了,按施教授的计划,这个系统需要两周才能完成。”
“半个月吗?那正好可以处理电子科技大的事?”
旋即路阳把平台的思路给应若涵做了个大概的介绍。
正如王德峰教授,汉语不只是一个交流工具,它融合了儒释道的思想,从仓颉流传而来的形象以及对炎黄血脉的认同,随着网络用语的扩散,很多承载着华国文化的词句语境可能都将不复存在。
把这些知识加入对模型的训练,不仅可以让文化得以传承,也可以让下一代更好的利用。
“我们的目标是建立起一个远超已有数据库规模,开放、互通、合理规范的超级华文语料库,并以此反哺华国互联网,输出优质知识。”
应若涵没想到路阳一下跨度拉得这么大,问道,“虽然我明白你说的,但这件事并不是最紧急优先的事,这个超级语料库按你的要求,短期内也不可能做好,而且这跟量子芯片似乎也关系不大。”
路阳知道她最近关心的是胡稚那边的进度,芯片小组已经在暗中做了大量准备,并提醒国家加大防疫系统的演练与物资储备,但路阳这边的行动,却没有一件跟这个相关。
归根结底,一方面是路阳确实对这方面没什么知识,另一方面就是大事件是全球性的,根本不可能防得住,除非你真正执行闭关锁国,但那又太不现实,损失太大。
路线想了下,继续说道,“我们的最终目的是造出量子芯片,完成量子计算机,对吧。”
应若涵点点头,这是集团董事会都知道的。
“量子计算机的应用,最适配的就是人工智能领域,而人工智能领域说是第四次工业革命一点都不为过,它可以让华国的科技整体再上一个台阶。”
这说法,应若涵心中是不太认可的,但路阳的特殊性也让她明白,这么做方向肯定是对的。
见应若涵仍不明白,路阳解释道,“人工智能是需要训练出来的,用大量数据通过人工干预训练,当数据量达到一定级别,你可以理解为,会出现具有部分意识的人工智能,它能帮助人类整体提速。”
这是路阳第一次把这件事告诉其他人,已经开始超越现有的人类认知。
既然自己的系统使用条件苛刻,存在风险,那就干脆造个系统出来帮助华国,这就可以让整个华国加速开挂。
哪怕应若涵对人工智能所知不多,但是凭借其超高的智商,还是快速想通了这一切,这样一来,路阳最近看似毫无关联的动作就可以串联起来了。
“路阳,你真的是来自2023年?可我怎么感觉你所说的事,像是未来几十年后。”
人工智能帮助人类提速,具有意识,这都是科幻电影里的场景,而往往科幻电影里的人工智能,大部分最后都变成反派boSS。
是啊,只是5年而已,这中间的差距就已经如此之大了,如果再发展二十年,未来世界又是什么样呢?
路阳并没直接回答应若涵的问题,也许对方也不需要他的回答。
“欧米人的科幻电影只能代表他们,华国真正意义上的科幻作品并不多,我现在也只能确认一点,只要你训练的数据足够多,质量足够好,一定会出现具有意识的人工智能,至于如何控制它,这就不是我能知道的了。”
“而且,这是一项颠覆世界的发现,而人工智能的能力,最终还是要落到算力上来,这是一切的根本!”