您当前的位置:首页 > 互联网百科 > 元宇宙

小扎下血本!Meta专为元宇宙搞了个AI模型

时间:2022-07-29 11:21:07  来源:  作者:新智元

新智元报道

编辑:David Joey

【新智元导读】专门为元宇宙打造的AI框架,是什么样子的?

人工智能将成为虚拟世界的支柱。

人工智能在元宇宙中可与多种相关技术结合,如计算机视觉、自然语言处理、区块链和数字双胞胎。

2月,扎克伯格在该公司的第一个虚拟活动——Inside The Lab中展示了元宇宙的样子。他说,该公司正在开发一系列新的生成式AI模型,用户只需通过描述就可以生成自己的虚拟现实化身。

扎克伯格宣布了一系列即将推出的项目,例如CAIRaoke项目,一项用于构建设备语音助手的完全端到端的神经模型,可帮助用户更自然地与语音助手进行交流。

同时,Meta正努力构建一个通用语音翻译器,可为所有语言提供直接的语音到语音翻译。

几个月后,Meta兑现了他们的承诺。

然而,Meta并不是唯一一家在游戏中拥有皮肤的科技公司。

英伟达等公司也发布了其自主研发的AI模型以提供更丰富的元宇宙体验。

开源预训练Transformer(OPT-1750亿参数)

GAN verse 3D

GANverse 3D由英伟达AI Research开发,是一种使用深度学习将2D图像处理成3D动画版本的模型,去年的ICLR和CVPR上发表的一篇研究论文中介绍了该工具,它可以用更低的成本更快地生成模拟。

该模型使用StyleGAN可自动从单个图像生成多个视图。该应用程序可以作为NVIDIA Omniverse的扩展导入,以在虚拟世界中准确地渲染3D对象。

英伟达推出的Omniverse可帮助用户在虚拟环境中创建他们最终想法的模拟。

3D模型的制作已成为构建元宇宙的关键因素。耐克和Forever21等零售商已经在元宇宙建立了他们的虚拟商店,以推动电子商务销售。

视觉声学匹配模型(AViTAR)

Meta的现实实验室团队与德克萨斯大学合作,建立了一个人工智能模型,以改善元空间的声音质量。该模型帮助匹配场景中的音频和视频。

它对音频片段进行转换,使其听起来像是在特定环境中录制的。该模型在从随机的在线视频中提取数据后使用了自我监督学习。

理想情况下,用户应该能够在他们的AR眼镜上观看他们最喜欢的记忆,并聆听实际体验中产生的确切声音。

Meta AI发布了AViTAR的开源,同时还发布了其他两个声学模型,考虑到声音是metaverse体验中经常被忽视的部分,这是非常罕见的。

视觉影响的减震(VIDA)

Meta AI发布的第二个声学模型被用来去除声学中的混响。

该模型是在一个大规模的数据集上训练出来的,该数据集有各种来自家庭三维模型的真实音频渲染。 混响不仅降低了音频的质量,使其难以理解,而且还提高了自动语音识别的准确性。

VIDA的独特之处在于,它在使用视觉线索的同时也使用音频方式进行观察。在典型的仅有音频的方法的基础上进行改进,VIDA可以增强语音,并识别语音和说话者。

视觉语音(VisualVoice)

Meta AI发布的第三个声学模型VisualVoice可以从视频中提取语音。 与VIDA一样,VisualVoice也是根据未标记的视频中的视听线索进行训练。 该模型已经自动分离了语音。

这个模型有重要的应用场景,如为听障人士制作技术,增强可穿戴AR设备的声音,从环境嘈杂的在线视频中转录语音等。

Audio2Face

去年,英伟达发布了Omniverse Audio2Face的开放测试版,以生成人工智能驱动的面部动画,以匹配任何配音。 该工具简化了为游戏和视觉效果制作动画的漫长而繁琐的过程。 该应用还允许用户以多种语言发出指令。

今年年初,英伟达发布了该工具的更新,增加了BlendShape Generation等功能,帮助用户从一个中性头像中创建一组blendhapes。此外,还增加了流媒体音频播放器的功能,允许使用文本到语音应用程序的音频数据流。

Audio2Face设置了一个3D人物模型,可以用音轨做动画。然后,音频被送入一个深度神经网络。用户还可以在后期处理中编辑角色,改变角色的表现。

参考资料:

https://analyticsindiamag.com/ai-models-built-for-the-metaverse/



Tags:Meta   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,如有任何标注错误或版权侵犯请与我们联系(Email:2595517585@qq.com),我们将及时更正、删除,谢谢。
▌相关推荐
新浪科技讯 北京时间11月3日早间消息,据报道,尽管数字资产交易放缓,但Meta正在其平台上扩展NFT(不可替代代币)的推出。当地时间周三,Meta表示,Instagram上的创作者将能够制作并直接...【详细内容】
2022-11-03  Tags: Meta  点击:(7)  评论:(0)  加入收藏
文/毕舸元宇宙还是Meta的烧钱黑洞。美东时间10月26日盘后,脸书(Facebook)母公司Meta发布2022年第三季度财报,报告期内,公司营收下降4%至277.14亿美元,这是连续第二个季度出现营收...【详细内容】
2022-11-02  Tags: Meta  点击:(6)  评论:(0)  加入收藏
【环球时报驻美国特约记者 张思思】美国科技巨头最新季度财报表现集体惨淡。微软、谷歌、Meta相继发布的财报显示,这3家科技巨头的业绩表现相较于二季度继续恶化。26日,Meta公...【详细内容】
2022-10-28  Tags: Meta  点击:(14)  评论:(0)  加入收藏
10月27日消息,美国当地时间周三,Facebook母公司Meta发布了截至9月30日的2022年第三季度财报。财报显示,Meta第三季度营收为277亿美元,相比下滑4%;净利润为44亿美元,同比下滑52%;摊...【详细内容】
2022-10-27  Tags: Meta  点击:(9)  评论:(0)  加入收藏
相关新闻:  Meta第三季度营收277亿美元 净利润同比下降52%Meta高管解读财报:预计2023年资本支出主要来自对AI投资新浪科技讯 北京时间10月27日早间消息,最新财报显示,在向元宇...【详细内容】
2022-10-27  Tags: Meta  点击:(12)  评论:(0)  加入收藏
【手机中国新闻】近日,据手机中国了解,在伦敦发布会上,欧洲奢侈品手机品牌VERTU正式发布旗下新品——METAVERTU,这也是全球首款Web3手机,为了致敬老东家诺基亚科技以人...【详细内容】
2022-10-25  Tags: Meta  点击:(9)  评论:(0)  加入收藏
9月末,Meta发布了新款AI系统Make-A-Video,开启了“用嘴做视频”的时代。谷歌不甘落后,在Make-A-Video推出后一周带着Imagen Video和Phenaki两款类似的人工智能产品登场。这几款...【详细内容】
2022-10-19  Tags: Meta  点击:(5)  评论:(0)  加入收藏
Meta元宇宙虚拟社交平台Horizon Worlds被曝用户数量不及预期。当地时间10月15日,《华尔街日报》报道称,脸书(Facebook)母公司Meta旗下的虚拟社交平台Horizon Worlds未能达到目标...【详细内容】
2022-10-16  Tags: Meta  点击:(21)  评论:(0)  加入收藏
去年10月份的Connect大会上,Facebook正式宣布公司改名为Meta,将业务聚焦于发展元宇宙。...【详细内容】
2022-10-14  Tags: Meta  点击:(24)  评论:(0)  加入收藏
一年前的Connect活动上,扎克伯格以自身虚拟形象正式宣布,公司由Facebook正式更名为Meta,取自元宇宙英文“Metaverse”的前半部分,以表明公司转向元宇宙的决心。将近一年过去,不仅...【详细内容】
2022-10-13  Tags: Meta  点击:(27)  评论:(0)  加入收藏
▌简易百科推荐
50多年前,传播学学者麦克卢汉在《理解媒介》一书中写下了“媒介是人的延伸”这一振聋发聩的论断,提出“报刊是视觉的延伸、广播是听觉的延伸”等令人耳目一新的观点,将媒介和技...【详细内容】
2022-11-04    中国青年报  Tags:元宇宙   点击:(3)  评论:(0)  加入收藏
近日,咨询机构Gartner发布《2023年十大战略技术趋势》报告,根据趋势细节,网易科技专访了Gartner高级研究总监高挺。根据《报告》显示,企业机构在2023年需要探索的十大战略技术趋...【详细内容】
2022-11-04    网易科技报道  Tags:NFT   点击:(4)  评论:(0)  加入收藏
新浪科技讯 北京时间11月3日早间消息,据报道,尽管数字资产交易放缓,但Meta正在其平台上扩展NFT(不可替代代币)的推出。当地时间周三,Meta表示,Instagram上的创作者将能够制作并直接...【详细内容】
2022-11-03    新浪科技  Tags:NFT   点击:(7)  评论:(0)  加入收藏
文/毕舸元宇宙还是Meta的烧钱黑洞。美东时间10月26日盘后,脸书(Facebook)母公司Meta发布2022年第三季度财报,报告期内,公司营收下降4%至277.14亿美元,这是连续第二个季度出现营收...【详细内容】
2022-11-02    中国经营网  Tags:Meta   点击:(6)  评论:(0)  加入收藏
【编者按】2021年10月28日,脸书CEO马克·扎克伯格宣布公司改名为Meta,将把发展重点聚焦在元宇宙领域。尽管名词“元宇宙”最早在1992年出版的科幻小说《雪崩》中被使用,...【详细内容】
2022-10-27    澎湃新闻  Tags:元宇宙   点击:(17)  评论:(0)  加入收藏
相关新闻:  Meta第三季度营收277亿美元 净利润同比下降52%Meta高管解读财报:预计2023年资本支出主要来自对AI投资新浪科技讯 北京时间10月27日早间消息,最新财报显示,在向元宇...【详细内容】
2022-10-27    新浪科技  Tags:元宇宙   点击:(12)  评论:(0)  加入收藏
欢迎关注“新浪科技”的微信订阅号:techsina 文/大娱乐家来源:壹娱观察(ID:yiyuguancha)尽管苹果那款存在于传言中的AR“大杀器”迟迟没有发布,但作为苹果CEO的库克却早已在各种...【详细内容】
2022-10-26   创事记  新浪网  Tags:元宇宙   点击:(6)  评论:(0)  加入收藏
撰文:张烽,万商天勤律师事务所合伙人来源:数字治理研究转载自金色财经图片来源:由无界版图AI工具生成。网络技术应用发展迅猛,不断融合众多数字技术催生数据新要素和网络新价值而...【详细内容】
2022-10-26    金色财经  Tags:元宇宙   点击:(7)  评论:(0)  加入收藏
在 2022 年,如果不碰到“元宇宙”一词,就很难行动。继 Facebook 在 2021 年底更名之后,几乎每个公司都渴望让我们了解他们对数字世界的愿景,让我们可以在一个虚拟平台上工作、娱乐和社交。...【详细内容】
2022-10-26  金色财经  新浪网  Tags:元宇宙   点击:(14)  评论:(0)  加入收藏
现实生存问题面前,虚拟世界或许需要靠边。...【详细内容】
2022-10-26    华尔街见闻  Tags:元宇宙   点击:(9)  评论:(0)  加入收藏
站内最新
站内热门
站内头条