您当前的位置:首页 > 新闻资讯 > 科技

“大厂垄断大模型”,会被开源终结吗?

时间:2023-05-12 10:19:55  来源:企鹅号  作者:阿尔法工场

最近,正在进行AI大战的各个大厂,被谷歌泄漏的一份内部文件,翻开了窘迫的一面。

这份泄露的内部文件声称:“我们没有‘护城河’,OpenAI 也没有。当我们还在争吵时,第三个方已经悄悄地抢了我们的饭碗——开源。”

这份文件认为,现在的一些开源模型,一直在照搬谷歌、微软这些大厂的劳动成果,并且双方差距正在以惊人的速度缩小。开源模型更快、可定制性更强、更私密,而且功能性也不落下风。

比如,这些开源模型可以用 100 美元外加 13B 参数,加上几个礼拜的时间就能出炉,而谷歌这样的大厂,要想训练大模型,则需要面对千万美元的成本和 540B 参数,以及长达数月的训练周期。

那么,事实是否真的像这份文件所说的那样,谷歌和OpenAI在AI方面的种种积累,最终真的会败给一群隐藏在民间的“草头侠”?

所谓“大厂垄断大模型”的时代,真的要终结了吗?

要回答这个问题,我们就得先了解下目前开源模型的生态,看看这些如雨后春笋般涌现的开源模型,究竟是如何一步步蚕食谷歌这些“正规军”的江山的。

01 异军突起的开源模型

其实,最早的开源模型,其诞生完全是一场“偶然”。

今年2月,Meta发布了自家的大型语言模型LLaMA,参数量从70亿到650亿不等,并仅用130亿的参数,就在大多数基准测试下超越了GPT-3。

但万万没想到的是,刚发布没几天,LLaMA的模型文件就被泄露了。

至此之后,开源模型的浪潮就如决堤一般,变得一发不可收拾。

如八仙过海一般的ChatGPT开源替代品——「羊驼家族」,随即粉墨登场。

与ChatGPT这类大模型相比,此类开源模型最显著的特点,就是训练成本与时间都极其低廉。

以LlaMA的衍生模型Alpaca为例,其训练成本仅用了52k数据和600美元。

然而,如果开源光靠低成本,还不足以让谷歌这类大厂感到威胁,重要的是,在极低的训练成本下,这些开源模型还能屡次达到和GPT-3.5匹敌的性能。

这下谷歌和OpenAI就坐不住了。

斯坦福研究者对GPT-3.5(text-davinci-003)和Alpaca 7B进行了比较,发现这两个模型的性能非常相似。Alpaca在与GPT-3.5的比较中,获胜次数为90对89。

重点来了:这些开源模型,究竟是怎么做到这点的?

斯坦福团队的答案是两点:1、一个强大的预训练语言模型;2、一个高质量的指令遵循数据。

在这里,我们将强大的预训练语言模型(如LlaMA或GPT-3),比喻为一位有着丰富知识和经验的老师。

对于自然语言处理领域的任务,强大的预训练语言模型,可以利用大规模的文本数据进行训练,学习到自然语言的模式和规律,并且可以帮助指令遵循等任务的模型更好地理解和生成文本,提高模型的表达和理解能力。

这就相当于学生使用老师的知识和经验,来提高语言能力,指令遵循等任务的模型可以使用预训练语言模型的知识和经验来提高自己的表现。

除了借助这位“老师”的知识外,开源模型的另一“利刃”,就是指令微调。

指令微调,或指令调优,是指现有的大语言模型生成指令遵循数据后,对数据进行优化的过程。

具体来说,指令微调是指在生成的指令数据中,对一些不合适或错误的指令进行修正,使其更符合实际应用场景。

而指令调优是指在生成的指令数据中,对一些重要、复杂或容易出错的指令进行加重或重复,以提高指令遵循模型对这些指令的理解和表现能力。

凭借着这样的“微调”,人们可以生成更准确、更有针对性的指令遵循数据,从而提高开源模型在特定任务上的表现能力。

如此一来,即使只用很少的数据,开源社区也能训练出性能匹敌ChatGPT的新模型。

然而,又一个问题是:面对自己辛苦打下的江山,被开源社区用“四两拨千斤”的方式步步蚕食,谷歌和OpenAI为何一直没有予以反制呢?

哪怕是如法炮制,以毒攻毒,推出同样快速迭代的小模型,也不失为一种破局之策啊。

02 骑虎难下

实际上,谷歌这样的头部企业,不是没有意识到开源的优势。

在那份泄漏的文件中,谷歌就提到:几乎任何人都能按照自己的想法实现模型微调,到时候一天之内的训练周期将成为常态。以这样的速度,微调的累积效应将很快帮助小模型克服体量上的劣势。

可问题是,身为AI领域巨头的谷歌和OpenAI,既不能,也不愿完全放弃训练成本高昂的大参数模型。

从某种程度上说,这是其保证自身优势地位的必要手段。

作为AI领域的巨头,谷歌和OpenAI需要不断提升自己的技术实力和创新能力。而传统的大参数训练模型,则是提供这一探索和创新的必经之路。

因为大模型的底层技术若想取得突破,AI领域的研究者和科学家,就需要更深入地理解模型和算法的基本原理,探索AI技术的局限性和发展方向,这需要进行大量的理论研究、实验验证和数据探索,而不仅仅是微调和优化。

例如,在训练大参数模型时,AI领域的科学家,可以探索模型的泛化能力和鲁棒性,在不同的数据集和场景下评估模型的性能和效果。谷歌的BERT模型,也正是在此过程中得到了不断强化。

同时,大参数模型的训练,还可以帮助科学家探索模型的可解释性和可视化,

例如,对今天的GPT来说至关重要的Transformer模型,虽然在性能上表现出色,但其内部结构和工作原理却相对复杂,不利于理解和解释。

通过大参数模型的训练,人们可以可视化Transformer模型的内部结构和特征,从而更好地理解模型是如何对输入进行编码和处理的,并进一步提高模型的性能和应用效果。

因此,开源和微调的方式,虽然可以促进AI技术的快速发展和优化,但不足以替代对AI基础问题的深入研究和探索。

但话说到这,一个十分尖锐的矛盾又摆了出来:一方面,谷歌和OpenAI不能放弃对大参数模型的研究,并坚持对其技术进行保密。但另一方面,免费、高质量的开源替代品,又让谷歌等大厂的“烧钱”策略难以为继。

因大模型耗费的巨大算力资源和数据,仅是在 2022 年,OpenAI 总计花费就达到了 5.4 亿美元,与之形成鲜明对比的,则是其产生的收入只有 2800 万美元。

与此同时,开源社区的具有的灵活性上的优势,也让谷歌等大厂感到难以匹敌。

在那份泄漏的文件中,谷歌就认为:开源阵营真正的优势在于“个人行为”。

相较于谷歌这些大厂,开源社区的参与者可以自由地探索和研究技术,不受任何限制和压力,从而有更多机会发现新的技术方向和应用场景。

而谷歌研究和开发新技术时,则必须考虑产品的商业可行性和市场竞争力。这就对人才的研究方向产生了一定的限制和约束。

此外,由于保密协议的存在,谷歌的人才也难以像开源社区那样,与外界充分地交流和分享技术研究的成果。

如果说,低价、灵活的开源模型,终将成为一种不可阻挡的趋势,那么当谷歌等大厂面对这浩瀚的战场时,又该怎样在新时代生存下去呢?

03 另辟蹊径

倘若谷歌这样的头部企业,最终在开源阵营的攻势下,选择了“打不过就加入”的策略,那如何在开源的情况下,找到一条可行的商业路径,就成了一件头等大事。

毕竟,在目前的市场认知下,开源几乎就等于“人人皆可免费使用。”

之前,Stable Diffusion背后的明星公司——Stability AI,就因为在开源后,没有找到明确的盈利途径,目前正面临严重的财政危机,以至于到了快倒闭的地步。

不过,关于如何在开源的情况下实现盈利,业界也不是完全没有先例可循。

例如,之前谷歌对Android系统的开源,就是一个经典的案例。

当年,由谷歌主导开发和推广的Android系统开源后,谷歌仍然通过各种途径,从Android操作系统的设备制造商那里获取了收益。

具体来说,这些途径可分为以下几种:

1.收取授权费用:当设备制造商希望在其设备上预装google Play商店等谷歌应用和服务时,他们需要遵守谷歌的授权协议,并支付相应的授权费用。

2.推出定制设备:谷歌通过与设备制造商合作,推出一些定制的Android设备,如Google Pixel智能手机和Google Nexus平板电脑等,并从中获得收入。这些定制设备通常具有更高的价值和更好的性能,而且会预装谷歌的应用和服务。

3.销售应用:当设备使用者在Google Play商店中购买应用、游戏或媒体内容时,谷歌会从中提取一定的佣金。

虽然这些途径的收益,也许并不像谷歌的主业——搜索和广告那样让其赚得盆满钵满,但谷歌仍然从中获得了各种“隐性收益”。

因为Android 的存在,避免了某一家企业垄断移动平台的入口,只要互联网是开放的,谷歌就能通过吸引更多人使用Android上的应用,来收集用户的行为数据,对这些数据进行加工,从而使得广告投放可以更加精准。

由此可见,开源模式并非与商业化的盈利模式完全冲突,这对于谷歌和开源社区的参与者而言,都是一种好事。

因为只有通过商业化途径,源源不断地为自身“造血”,谷歌和OpenAI等大厂,才能继续承担起训练大参数模型所需的巨额成本。

而只有大参数模型的持续研发,各大开源社区,才能继续以高性能、高质量的预训练语言模型为基础,微调出种类更多,应用场景更为丰富的开源模型。

基于这样的关系,开源模型与封闭的大模型之间,其实不仅仅只是对立与竞争,同时也是一种互助共生的生态。



Tags:大模型”   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,不构成投资建议。投资者据此操作,风险自担。如有任何标注错误或版权侵犯请与我们联系,我们将及时更正、删除。
▌相关推荐
谷歌的GPT杀手:“人类最强大模型”双子座初露峥嵘,或于秋季发布
谷歌(130.46, 1.35, 1.05%)的GPT杀手:“人类最强大模型”双子座初露峥嵘,或于秋季发布来源:华尔街见闻 新智元媒体爆料称,谷歌“全新大杀器”Gemini结合了GPT-4、Midjourney、St...【详细内容】
2023-08-17  Search: 大模型”  点击:(54)  评论:(0)  加入收藏
“大厂垄断大模型”,会被开源终结吗?
最近,正在进行AI大战的各个大厂,被谷歌泄漏的一份内部文件,翻开了窘迫的一面。这份泄露的内部文件声称:“我们没有‘护城河’,OpenAI 也没有。当我们还在争吵时,第三个...【详细内容】
2023-05-12  Search: 大模型”  点击:(106)  评论:(0)  加入收藏
金融“AI大模型”探路:商业化须闯三关
本报记者 蒋牧云 张荣旺 上海 北京报道ChatGPT带来的AIGC(人工智能生成内容)热潮仍在持续。继各互联网大厂躬身入局之后,金融科技公司也开始进军大语言模型。近日,某金融科技公...【详细内容】
2023-05-06  Search: 大模型”  点击:(277)  评论:(0)  加入收藏
▌简易百科推荐
英特尔发布新一代AI芯片并首推AI芯片代工 “单挑”英伟达和台积电
新华财经上海4月11日电 当地时间4月9日,英特尔在Vision 2024客户和合作伙伴大会上宣布推出最新AI芯片产品Gaudi 3加速器。英特尔称,相比英伟达的H100 GPU,Gaudi3 AI芯片的模型...【详细内容】
2024-04-11    上海证券报  Tags:英特尔   点击:(2)  评论:(0)  加入收藏
AI“复活”亲人成生意,哪些红线待划定?
提供一张照片、一段10多秒的音频,即可让逝者在视频中“活”过来——AI“复活”亲人成生意,哪些红线待划定?本报记者 陶稳《工人日报》(2024年04月11日 06版)阅读提示...【详细内容】
2024-04-11    工人日报  Tags:AI   点击:(2)  评论:(0)  加入收藏
谷歌推出适用于安卓设备的“查找我的设备”网络
IT之家 4 月 9 日消息,谷歌今日推出了适用于安卓设备的“查找我的设备”网络,其功能类似于苹果的“查找”网络,旨在帮助用户定位丢失、被盗的安卓产品。IT之家注意到,与苹果的“...【详细内容】
2024-04-09    IT之家  Tags:安卓   点击:(2)  评论:(0)  加入收藏
你的自拍和聊天记录,正被硅谷大厂砸数十亿美元疯抢
2026年的数据荒越来越近,硅谷大厂们已经为AI训练数据抢疯了。它们纷纷豪掷十数亿美元,希望把犄角旮旯里的照片、视频、聊天记录都给挖出来。不过,如果有一天AI忽然吐出了我们的...【详细内容】
2024-04-09    新智元  Tags:硅谷   点击:(2)  评论:(0)  加入收藏
谷歌搜索史上最大变革!考虑对AI搜索收费
快科技4月7日消息,据国外媒体报道,谷歌正计划对由生成式人工智能驱动的新高级功能收费,这将是谷歌搜索业务历史上最大的一次变革。自2000年以来,谷歌的搜索产品一直依靠广告盈利...【详细内容】
2024-04-08    快科技  Tags:谷歌搜索   点击:(8)  评论:(0)  加入收藏
为训练AI,OpenAI等科技巨头花式淘数据
[环球时报特约记者 甄翔]《纽约时报》6日披露了科技公司训练人工智能的秘密——利用语音识别工具转录视频网站YouTube上的视频,形成对话文本数据,供其最新的AI学习...【详细内容】
2024-04-08    环球网  Tags:AI   点击:(9)  评论:(0)  加入收藏
训出GPT-5短缺20万亿token!OpenAI被曝计划建「数据市场」
全网真的无数据可用了!外媒报道称,OpenAl、Anthropic等公司正在努力寻找足够的信息,来训练下一代人工智能模型。前几天,OpenAI和微软被曝出正在联手打造超算「星际之门」,解决算...【详细内容】
2024-04-08    新智元  Tags:GPT-5   点击:(2)  评论:(0)  加入收藏
当“机器人”有了“AI大脑” 人形机器人时代来了吗
数智风向标当“机器人”有了“AI大脑”​人形机器人时代来了吗简单明了的口令下达后,机器人便开始搬箱子、运小球,在各类不同的地形行走……这些身上布满芯片和传...【详细内容】
2024-04-08    中国青年报  Tags:机器人   点击:(5)  评论:(0)  加入收藏
报告称 OpenAI 采集了超一百万小时的 YouTube 视频来训练 GPT-4
IT之家 4 月 7 日消息,本周早些时候,《华尔街日报》报道称 AI 公司在收集高质量训练数据方面遇到了困难。今天,《纽约时报》详细介绍了 AI 公司处理此问题的一些方法,其中涉及到...【详细内容】
2024-04-07    IT之家  Tags:OpenAI   点击:(7)  评论:(0)  加入收藏
量子计算会和经典计算一样融入人们的日常生活
作为2024中国网络媒体论坛打造的创新活动之一,“技术赋能·八点见”创新项目发布会于3月30日晚在云南昆明举行。活动现场,本源量子计算科技(合肥)股份有限公司(以下简称“...【详细内容】
2024-04-03    人民网  Tags:量子计算   点击:(8)  评论:(0)  加入收藏
站内最新
栏目相关
  • · 英特尔发布新一代AI芯片并首推AI芯片代工 “单挑”英伟达和台积电
  • · AI“复活”亲人成生意,哪些红线待划定?
  • · 谷歌推出适用于安卓设备的“查找我的设备”网络
  • · 你的自拍和聊天记录,正被硅谷大厂砸数十亿美元疯抢
  • · 谷歌搜索史上最大变革!考虑对AI搜索收费
  • · 为训练AI,OpenAI等科技巨头花式淘数据
  • · 训出GPT-5短缺20万亿token!OpenAI被曝计划建「数据市场」
  • · 当“机器人”有了“AI大脑” 人形机器人时代来了吗
  • · 报告称 OpenAI 采集了超一百万小时的 YouTube 视频来训练 GPT-4
  • · 量子计算会和经典计算一样融入人们的日常生活
  • · ChatGPT官宣免注册,全球互联网变天!OpenAI将取代谷歌搜索?
  • · 谷歌为了结集体诉讼,同意删除 Chrome 无痕模式下收集的用户数据
  • · 哥伦比亚大学华人开发「人脸机器人」,照镜子自主模仿人类表情超逼真
  • · 谷歌服务现已支持使用 Windows Hello 人脸和指纹解锁登录
  • · GPT商店热度不尽人意 仅用在写论文和炒股票上较受欢迎
  • · 距实现全球安全量子通信更近一步:量子点源产生近乎完美纠缠光子对
  • · 中国三大运营商共同发布通过GSMA Open Gateway认证的一次性密码 API
  • · 马斯克脑机接口再造奇迹:瘫痪小伙意念玩赛车击败正常人
  • · 国家数据局局长刘烈宏:充分发挥数据要素价值 培育新质生产力
  • · 谷歌Chrome巨变:第三方Cookie的终结将重塑互联网格局
  • 站内热门
    相关头条
  • · 谷歌搜索史上最大变革!考虑对AI搜索收费
  • · ChatGPT官宣免注册,全球互联网变天!OpenAI将取代谷歌搜索?
  • · 马斯克脑机接口再造奇迹:瘫痪小伙意念玩赛车击败正常人
  • · Kimi引燃大模型“长文本竞赛”,阿里360百度急出手
  • · 瘫痪8年小哥植入马斯克脑机接口,狂打8小时「文明6」!Neuralink首个人类植入者直播来了
  • · 英伟达“算力核弹”强在哪里?
  • · AI大模型之争远未落幕
  • · 世界首款!英伟达重磅发布人形机器人模型
  • · 全程回顾黄仁勋GTC演讲:Blackwell架构B200芯片登场
  • · 真“Open ” AI?马斯克旗下大模型Grok宣布开源:参数量全球最大
  • · 全球首位AI程序员诞生 人类程序员会失业吗?
  • · 谷歌宣布更新搜索算法:打击AI生成内容,提高搜索结果质量
  • · 英伟达、微软等巨头“抱团”,AI有望助推6G时代到来 国内产业如何接招?
  • · OpenAI Sora已开放对外申请 网友爆料:可能还有其它重磅产品发布
  • · 周鸿祎再谈Sora:真正给人工智能补上了“眼睛”
  • · Sora爆火超100小时:美国狂“卷”算力,国内则卖 AI 课程“捞金”一年5000万|钛媒体AGI
  • · 爆火Sora参数规模仅30亿?谢赛宁等大佬技术分析来了
  • · “AI女友”霸占GPT商店,OpenAI苦不堪言:开发者也难出头!
  • · 从居家到工作,CES 2024上演 AI硬件大秀
  • · OpenAI新年头号重磅!GPT Store上线,企业客户新品也来了
  • 站内头条