您当前的位置:首页 > 财经百科 > 公司

数十位 AI 大牛愤然离职,解密Meta AI大模型团队内斗始末

时间:2023-09-13 10:27:02  来源:钛媒体APP  作者:

Meta参展2022年在上海举行的进博会(来源:钛媒体App编辑拍摄)

过去半年,为了追赶AI target=_blank class=infotextkey>OpenAI的研发脚步,科技巨头Meta公司(前Facebook)接连发布免费开源大语言模型LLaMA、Llama 2以及编程模型Code Llama等,引发了一场关于开源与闭源模型优劣的广泛热议。

但对于一些参与Llama大语言模型研发的Meta 科学家们来说却不这样想,普遍认为这款大模型来的太晚了,团队精英 AI 人才流失太高了。

据The information近日报道,今年2月发表的Llama原始研究论文的14位作者中,包括FAIR巴黎团队负责人Antoine Bordes在内的超过一半(7人)AI科学家离开了Meta,其中几位跳槽或创办了 AI 初创公司,或是到大公司,原因与内部算力资源斗争有关

同时,OPT、ESMFold等多个项目也同时解散,员工合并重组,影响超过数十人,其中OPT研究论文的19位作者中,已经约有一半已不在Meta工作,近10位AI领域核心研发人员。

实际上,过去10多年来,马克·扎克伯格(Mark Zuckerberg)一直将 AI 当作Meta新发展的重要起点,而且挖来了 AI 学术领域重要的科学家,如图灵奖得主、Meta首席 AI 科学家杨立昆(Yann LeCun)等,但持续性团队内斗影响了Meta AI对于研究资源的分配。

而随着全球经济衰退加剧、紧急追赶ChatGPT,经历一段时期的人员波动和内部整合、超过1万名员工被裁掉。最终,Meta选择商业化的 AI,放弃纯科学性AI技术。

超半数Llama团队愤然出走,因与OPT团队内部算力争夺有关

Meta在人工智能(AI)领域的核心研究,主要来源2013年成立的FAIR(Facebook AI Research)。

团队组建之初,Meta聘请了图灵奖获得者、法国科学家杨立昆担任 AI 研究负责人,整个FAIR的研究任务是将 AI 用于翻译语言,推进AI医疗等场景。同时,FAIR团队大手笔在美国加州门洛帕克、纽约、蒙特利尔、巴黎、伦敦和西雅图六地设立实验室。

据报道,FAIR在巴黎的团队主要研发了Llama大模型,而FAIR美国团队则研发OPT模型,两个团队主要向Meta基础Al研究负责人Joelle Pineau汇报。据悉,Pineau不仅是Meta AI研究副总裁,而且还是麦吉尔大学教授,主要研究新的模型和算法。

Meta基础Al研究负责人Joelle Pineau(来源:Meta AI官网)

早在2022年5月,ChatGPT发布之前,Meta美国团队就公开发布了OPT-175B。当时Meta声称该模型比OpenAI的GPT-3训练所需能源更少,而这两个模型用于训练的参数规模相同。据两位知情人士称,几个月后,该团队已经开始研究媲美谷歌PaLM的一款大模型。

与此同时,巴黎FAIR团队已经开始研究另一种独立的大模型,最终被称为Llama,该模型参数比OPT小,团队认为较小模型在推理(即对问题生成响应的过程)方面会更有效,尤其Llama需要的算力资源低于OPT模型。

不过,由于Meta的算力资源有限,内部分配一直不合理。而这种算力争夺加剧了团队之间的紧张关系。

据报道,Meta内部每月做出一次算力分配决定,与不同业务部门、不同优先事项,以及项目发布时间等因素有关。而如果FAIR的员工提出争议,这些争议就会升级,交由Pineau做出决定。

Pineau回应称,Llama和OPT团队在算力分配的问题上“有些紧张”,称“尽管我们不保证每个人都会得到想要的,但我们一直试图在平衡各方需求”。

2023年开始,随着ChatGPT对话 AI 模型风靡全球,两个团队内斗紧张局势达到了顶峰。

今年2月,Meta FAIR发布了Llama开源模型,并获得研究使用许可,而且多个团队使用Llama开发了Vina等其他开源大模型,广受好评。

但在发布会前一周,FAIR团队联合创办人兼巴黎团队负责人Antoine Bordes却离开了Meta公司,报道称,其主要与美国团队的内斗让Bordes精疲力尽。Bordes拒绝置评。

同时,自去年11月起,扎克伯格开始了Meta全公司范围的裁员,涉及超过1万名员工,FAIR团队也未能幸免。今年2月,Meta成立了一个新团队,专注于开发生成式 AI 技术,团队负责人是苹果前高管Ahmad Al-Dahle。随后很多FAIR、Llama 2开发团队都加入其中,又一次进行了团队洗牌。

而Meta这种人员变动、整合,让FAIR团队只能研究Code Llama。因此,更多Llama、OPT等项目的研究人员感受到了更大的内部斗争氛围,愤然离职。

据报道,目前,Llama原始研究论文的14位作者中,超过7人已从Meta离职。而2022年5月公布的OPT原始研究论文的19位作者中,约有10名 AI 大牛已经从Meta离开。The information提到了其中四位的去向:

  • FAIR巴黎分部负责人Antoine Bordes已离职,加入了军工 AI 公司Helsing
  • Llama论文作者、FAIR研究总监Armand Joulin,今年5月离职,随后加入了苹果公司。
  • Llama论文作者Timothee Lacroix和Guillaume Lample已离职,共同创立了 AI 初创公司MistralAI
  • Llama论文作者Marie-Anne Lachaux已离职,加入了MistralAl

另外,今年8月有报道称,Meta为了降本增效,裁掉了对标谷歌DeepMind AlphaFold、利用 AI 大模型实现蛋白质预测的生物科学ESMFold项目团队。此前,该团队研发出了150亿参数、预测超6亿个宏基因组蛋白质序列大模型ESMFold,AI 的速度比 AlphaFold 快 60 倍。不过如今,该团队已解散,负责人已辞职创业。

英国《金融时报》认为,Fair实验室内部的学术文化是Meta迟迟在 AI 大模型竞争中获得领先的原因,而随着ChatGPT的爆发,如今Meta试图调整目标“GenAI”,并重新配置其Fair团队的研究方向,转向 AI 模型的商业化。

扎克伯格表示,随着开发者不断改进模型,Meta可以将这些改进融入其广告和消费产品中。看起来,扎克伯格从Llama看到了以开源在AI竞争中打开局面的可能性。

Joelle Pineau坦言,留住和吸引优秀人才是公司花费大部分时间的原因。如果没有优秀的研究人员,她什么也做不了。

“由于 AI 领域发展如此之快,我们正在共同思考,FAIR应该拥有哪个项目?Gen AI 应该拥有哪个项目?我们应该持续关注两个团队的工作成果。”Pineau表示。

算力不足下,Meta仍计划明年发布对标GPT-4的大模型

Meta AI 研究团队这一内斗、核心人员离职案例,可以从两个角度解读。

一是大公司创新能力随着内部问题不断下降,资本和大科技公司创新鸿沟加深。(详见钛媒体App前文:《全球经济巨变下,资本和科技创新之间的冲突与平衡》)

此前,谷歌也做了类似的事情,DeepMind研发 AI 技术多年,诞生出了AlphaFold、AlphaGo等行业顶级技术,但难以盈利,2018年-2020年总亏损额超过17亿美元。因此在今年4月,谷歌母公司Alphabet CEO Sundar Pichai (皮猜)宣布,将谷歌大脑和DeepMind 两大团队合并,组成“google DeepMind”部门,研发任务之一是多模态 AI 模型,而此前谷歌大脑、DeepMind内部竞争颇多。

另外在阿里内部也产生一定的竞争。近日,阿里达摩院M6大模型带头人杨红霞、阿里云AI大牛贾扬清、机器学习科学家金榕等 AI 大牛也纷纷离职,有消息称,阿里大模型研发时经过内部的竞赛流程,金榕和杨红霞团队技术产生竞争,最终诸多因素下才最终选择杨红霞的模型技术,从而诞生通义千问,不过最终两位技术负责人均从阿里辞职。

搜狗创始人、百川智能创始人兼CEO王小川告诉钛媒体App,“资本是逐利的,所以不是投自动驾驶就是安防。对大厂来说,当时投钱创新是有巨大风险的。对企业的一号位来说,想的更多还是业务上的东西,花钱最后没出成果,算谁的?”

另外一方面是Meta的算力资源不足。

随着OpenAI用微软云的算力、谷歌则自行购买GPU(图形处理器)芯片,多家科技巨头加大算力基础设施布局。而Meta没有自己的庞大云算力储备,因此在生成式AI的赛道上明显“掉队”。

2022年的一场5个小时会议上,Meta的基础设施负责人当时表示:“我们在开发AI的工具、工作流程和程序上存在显著差距,我们必须得投入大笔投资。”而随着ChatGPT的发布,全球 AI 训练、推理算力需求加剧,Meta似乎只能追赶。

据报道,GPT-3使用10000张GPU A100显卡、花了30天才训练完了1750 亿参数,单 GPU 计算性能为12TFlops,消耗的总算力为每天每秒3640PetaFlop,GPU-4数据更高。即便是利用3584 个英伟达最新 H100 芯片,GPT-3大模型训练任务也需要11分钟。而OpenAI尚未透露GPT-4的大小,但估计参数为1.5万亿。

庞大的数据量需要大量的算力支持。因此,Meta依然需要购买大量英伟达产品,补足算力缺口,例如Meta Llama模型已经在微软云平台Azure上提供。

Meta CFO Susan Li在今年2月坦承,Meta投入给生成式AI的算力相当有限,基本上所有的AI算力都投向了广告、信息流和短视频项目。

即便是算力不足,扎克伯格仍希望尽力追赶,并且打造更多的大模型产品落地应用。

据外媒9月11日报道,Meta正在开发一种新的 AI 大语言模型(LLM),超越Llama 2,性能比肩GPT-4。报道称,预计Meta将在2024年初开始训练这一大模型。

(本文首发钛媒体App,作者|林志佳)



Tags:Meta   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,不构成投资建议。投资者据此操作,风险自担。如有任何标注错误或版权侵犯请与我们联系,我们将及时更正、删除。
▌相关推荐
AI产业的灰色暗面:OpenAI、谷歌、META如何搞训练语料
财联社4月7日讯(编辑 史正丞)种种迹象显示,目前站在全世界AI领域潮头浪尖的这些公司,早在几年前就已经陷入对训练语料的“绝望”追逐中——为此他们不惜修改政策条款...【详细内容】
2024-04-09  Search: Meta  点击:(1)  评论:(0)  加入收藏
Meta:Quest 手势追踪不会用于模拟手柄
IT之家 3 月 28 日消息,Meta Quest 用户期待的“空气手柄”功能可能要落空了。近日,Meta 的一位产品经理明确表示,手势追踪功能不会用于模拟传统的实体手柄控制器。据IT之家了...【详细内容】
2024-03-29  Search: Meta  点击:(8)  评论:(0)  加入收藏
Meta:苹果入局证明扎克伯格对AR/VR坚持投入是正确的
(映维网Nweon 2024年01月29日)根据《华尔街日报》报道,对于苹果携Vision Pro正式入局头显市场,Meta实际上非常欢迎,并希望苹果及Vision Pro可以助力他们已投入500亿美元的元宇宙...【详细内容】
2024-01-29  Search: Meta  点击:(46)  评论:(0)  加入收藏
谷歌Gemini大逆转?斯坦福Meta华人证明其推理性能强于GPT-3.5
新智元报道编辑:编辑部【新智元导读】谷歌放出的Gemini,在对标GPT的道路上似乎一直处于劣势,Gemini真的比GPT-4弱吗?最近,斯坦福和Meta的学者发文为Gemini正名。Gemini的推理能力...【详细内容】
2024-01-02  Search: Meta  点击:(71)  评论:(0)  加入收藏
股价飙升150%走出市值暴跌阴影,扎克伯格的Meta今年做对了什么?
原文来源:元宇宙新声图片来源:由无界 AI生成2023年对于Facebook母公司Meta来说,是一个转折点。截至第三季度,Meta的股价涨幅已超过150%,这一显著的反弹让人难以想象就在去年,公司...【详细内容】
2023-12-26  Search: Meta  点击:(57)  评论:(0)  加入收藏
Meta头显新增舌头追踪,网友大写震惊:我不问也不想知道为什么
量子位 | 公众号 QbitAI就还挺突然的……Meta的MR头显可以进行舌头追踪了。效果be like:有了这个新功能,咱就可以舔虚拟甜筒冰淇淋,也能更好地表达天气很热,以及___...【详细内容】
2023-12-20  Search: Meta  点击:(103)  评论:(0)  加入收藏
计算机图形学将迎来新突破?Meta 携手斯坦福大学推出 3D 交互模型,VR 时代似乎不远了
作者 | 李冬梅、核子可乐近日,斯坦福大学与 Meta/Facebook AI 研究(FAIR)实验室的工作人员共同开发出一套突破性的 AI 系统,能够仅根据文本描述在虚拟人和物体之间生成自然、协...【详细内容】
2023-12-14  Search: Meta  点击:(129)  评论:(0)  加入收藏
一文带你全面了解Meta的开源人工智能音乐模型——MusicGen
译者 | 朱先忠审校 | 重楼摘要:本文将同你一起探索Meta公司研制的新的开源人工智能音乐模型MusicGen,尤其是分析此模型中一些往往被忽视但实际却代表显著进步方面的内容。音乐...【详细内容】
2023-12-08  Search: Meta  点击:(213)  评论:(0)  加入收藏
Meta、IBM发起AI联盟,“抱团取暖”对抗 OpenAI等巨头?
最新消息称,Meta Platforms和IBM发起了一个由50多家人工智能公司和研究机构组成的人工智能联盟(AI Alliance),意在培养⼀个开放的社区,使开发⼈员和研究⼈员能够加快⼈⼯智能领域...【详细内容】
2023-12-06  Search: Meta  点击:(114)  评论:(0)  加入收藏
Meta 介绍 AI 图像编辑工具 Emu Edit / Video
11 月 20 日消息,Meta 昨日宣布为 Facebook 和 Instagram 推出两款基于 AI 的图像编辑工具,分别是“Emu Edit”和“Emu Video”,适用领域包括照片和视频,目前 Meta 公布了这两项...【详细内容】
2023-11-20  Search: Meta  点击:(222)  评论:(0)  加入收藏
▌简易百科推荐
腾讯一年净赚1557亿,马化腾依旧不满意
「核心提示」3月20日,腾讯控股发布2023年全年及四季度未经审计的财务报告。一年净赚1577亿,股王腾讯依旧稳健,也依旧焦虑。作者 | 赵若慈编辑 | 刘杨“股王”腾讯,依旧稳健。3月...【详细内容】
2024-03-22    豹变  Tags:腾讯   点击:(13)  评论:(0)  加入收藏
Kimi概念股集体高开 企业估值突破180亿 月之暗面什么来头
继Sora之后,有AI独角兽企业之称的月之暗面所研发的Kimi智能助手在市场上掀起热潮,进一步点燃了人工智能领域的投资热情。在技术突破的催化下,3月21日,Kimi概念股集体高开。北京...【详细内容】
2024-03-21    北京商报  Tags:月之暗面   点击:(32)  评论:(0)  加入收藏
9岁盒马迎变局:创始人侯毅退休 CFO严筱磊接任CEO
盒马创始人侯毅盒马迎来了自创立以来的最大变动。3月18日,阿里集团CEO吴泳铭发布内部邮件称,即日起,侯毅(花名:老菜)卸任盒马CEO,由盒马CFO严筱磊(花名:百何)接任,未来老菜将作为盒马首...【详细内容】
2024-03-20    中国商报  Tags:盒马   点击:(24)  评论:(0)  加入收藏
百度大模型赚钱了,李彦宏又面临三隐忧
文 丨 新浪科技 周文猛苦练AI十余年后,百度似乎开出了花。近日,百度创始人、董事长兼首席执行官李彦宏在财报会议上指出,“2023年第四季度,大模型为云业务带来约6.6亿元收入”。...【详细内容】
2024-03-13    新浪科技  Tags:李彦宏   点击:(27)  评论:(0)  加入收藏
十年一觉造车梦,苹果为什么不想造车了?
十年一觉造车梦,终究还是要面对现实。在投入巨资研发十年之后,苹果最终还是决定放弃造车,全力投入人工智能领域。实际上,这个项目已经在内部搁置数年,只是现在作出最终决定罢了。...【详细内容】
2024-02-29    新浪科技  Tags:苹果   点击:(21)  评论:(0)  加入收藏
软银集团简介:孙正义领导下的全球科技投资巨头
简易百科软银公司简介软银公司是一家成立于1981年的日本跨国公司,主要从事电信、媒体、科技和金融科技等领域的投资和运营。公司总部位于东京,由孙正义创立,目前在全球范围内拥...【详细内容】
2024-01-26    简易百科  Tags:软银   点击:(54)  评论:(0)  加入收藏
软银出,马云进!阿里巴巴大股东换了?
阿里巴巴再获增持。当地时间1月23日,美国证监会网站一份13F文件显示,蔡崇信家族基金Blue Pool增持价值1.5亿美元的阿里股票。另据《纽约时报》财经栏目DealBook援引消息人士称...【详细内容】
2024-01-24    国际金融报  Tags:阿里巴巴   点击:(58)  评论:(0)  加入收藏
新《公司法》颁布后,董事不仅要懂事,更得担事!
经营层对第三人责任(以下简称为“董事对第三人责任”),是本次公司法修订过程中的热点问题。尤其是,在《公司法》第1条明确了公司法立法目的之弘扬企业家精神的前提下,相关规范不...【详细内容】
2024-01-20    澎湃新闻  Tags:董事   点击:(56)  评论:(0)  加入收藏
颠覆GPU、打倒英伟达!深扒12家AI芯片独角兽
谁将成为屠龙者?2024开年,去年大涨的科技股一片惨跌,但引领AI浪潮的总龙头英伟达依然势头不减。没有哪家芯片公司不眼红英伟达的地位,随着AI产业的蛋糕越做越大,硬件赛道也肉眼可...【详细内容】
2024-01-16    华尔街见闻  Tags:独角兽   点击:(74)  评论:(0)  加入收藏
HMD与诺基亚难逃“七年之痒”,手机圈再无诺基亚
诺基亚要从手机圈消失了?日前有消息显示,过去数年间一直持有诺基亚手机品牌的HMD Global,正在为此前宣布的“自有品牌转型计划”做准备,该公司正在逐步推进“去诺基亚化”,预计今...【详细内容】
2024-01-11    三易生活  Tags:诺基亚   点击:(74)  评论:(0)  加入收藏
站内最新
站内热门
站内头条