您当前的位置:首页 > 电脑百科 > 虚拟现实

苹果封神头显Vision Pro竟暗藏「脑机接口」!苹果前员工疯狂揭秘读心操控

时间:2023-06-07 13:53:14  来源:新智元   作者:

新智元报道

编辑:编辑部

【新智元导读】惊艳众人的Vision Pro竟偷偷装了「脑机接口」?

苹果Vision Pro的横空出世,一夜之间在全球引起轩然大波。

正如库克所称,这将开启「空间计算」时代,足见Vision Pro对所有人来说意义非凡。

戴上Vision Pro,只需眨眨眼,捏合手指,甚至动动嘴,「头号玩家」的科幻便成为可能。

但,苹果Vision Pro的科幻感,不仅于此。

头显发布后,苹果前研究员Sterling Crispin在推特回顾自己工作中,透露了不少关于Vision Pro的「黑科技」。

最让人惊艳的是,Vision Pro其实还暗藏着一种「脑机接口」技术。

不需要芯片植入,它就能预测你的大脑行为,妥妥的「读心术」。

灰色框可能是苹果在搞秘密的项目

此外,苹果头显还能根据个人身体和大脑的数据,来检测心理状态。

看似篇幅不长的推文中,其实给许多人对苹果Vision Pro带来了无限的畅享。

Vision Pro暗藏「脑机接口」?

2108年,Sterling Crispin加入苹果技术开发小组,担任「神经技术原型」的研究员。

3年前,他开始参与Vision Pro的研发工作。

正如他在推特上所称,自己花费人生10%的时间为Vision Pro的开发做出贡献,这是我做过的最长的一次努力。

Crispin在苹果的大部分工作都受到保密协议的约束,设计广泛的主题和方法。

但其实,这些工作,有些苹果已经申请了专利,可以拿出来讲。

Crispin称,「要使特定预测成为可能,涉及很多技巧,我提到的少数专利对此进行了详细说明。」

最酷的能力就是能够预测用户,会在他们实际点击之前,点击某些东西。

而这项技术背后的主要原理是,每个人在做每件事之前,瞳孔会做出反应,其中部分原因是你预计在你点击之后会发生一些事情。

因此,苹果可以通过算法来监视你的眼睛行为。

并实时重新设计UI,以创建更多这种预期的瞳孔反应,从而创建个人大脑的生物反馈。

这其实就是通过眼睛实现的初级「脑机接口」。

Crispin表示,「这是一项艰巨的工作,也是我引以为豪的事情。随时都会接受侵入性脑部手术。」

从中可见,苹果头显利用大量神经科学技术来开发其中的一些关键功能,凭借不同技巧来确定一个人将要做的事。

此外,Crispin称自己工作很大一部分,涉及通过用户在沉浸式体验中的身体和脑部数据,来检测用户的心理状态。

毕竟沉浸在虚拟世界中的人们,真的很需要有个健康检测的功能。

当你处在混合现实,或者虚拟现实体验中,AI模型尝试预测你是否感到好奇、思维漫游、害怕、注意力集中、记起过去的经历或其他认知状态。

而这些都可以通过眼动追踪、脑部电活动、心脏跳动和节奏、肌肉活动、大脑中的血液密度、血压、皮肤电导等测量数据来推断。

除了以上提到的技术,推测认知状态还包括你可能察觉不到的方式。

比如,向你快速闪烁视觉效果,或者声音,然后测量你对此的反应。

还有一项专利介绍了,如何使用机器学习,以及来自身体和大脑的信号来预测你的注意力、放松程度或学习情况。

然后,头显会自动更新虚拟环境,以增强这些状态。

因此,你可以想象一个自适应沉浸式环境,它可以通过改变你在背景中看到和听到的内容,来帮助每个人学习、工作或放松。

Sterling Crispin介绍的这些和科技,或许我们能够在VisionPro未来迭代升级中看到。

背后部分专利一览

支撑发布会上魔幻演示的效果的,是苹果在默默开发VR设备这么多年中自己的技术积累。

5000多项VR专利,是发布会上惊艳众人产品和基石和护城河。

现在就来看看演示中涉及到的专利技术。

双手+意念控制一切

市面上几乎所有的VR设备都配备了手柄。

但是苹果却大胆的在自己的第一款VR产品中就完全依赖手势追踪和眼球追踪实现了丝滑的控制效果。

背后的技术在2023年获得了专利。

根据专利图示,FIG.1是3D操作环境的框架图,展示了用户UI实现的整体框架。

FIG.4是捕捉用户的手势输入的头显计算机系统的手部跟踪单元的框架图。

FIG.5是用户的眼球追踪数据输入的头显计算机系统的眼睛跟踪单元的框架图。

这个专利图例展示了眼球反光辅助眼球追踪的流程图。

除了提供手部和眼球追踪技术的基础之外,该专利还描述了用户如何在3D环境中更有效的进行交互的设计和流程。

强大的手势追踪体验,还源于今年5月,苹果又获得了一项专利。

这项专利描述了头显中的摄像头如何使用深度映射来区分不同的手势。

图注:FIG.7E/F/H/I 说明了相对于三维环境,基于用户在一系列用户输入期间保持的手握力从而有选择地移动虚拟对象或相对于三维环境(以及三维环境中的所有虚拟对象)移动视点维度环境。

一键生成3D形象

还记得之前被全网嘲讽的小扎在Horizon World里的3D形象吗?

苹果给出了的方案也许部分解释了为什么同样是做VR设备,苹果能引爆全网,Meta却让自己的股票「跌跌不休」。

背后的技术专利也在上周被公布出来。

这个专利描述了未来的 Apple Watch 和 XR 头显将允许用户使用设备上的相机设置自己的 3D 头像的技术。

在专利的示意图中,苹果展示了未来的 Apple Watch允许用户使用 Apple Watch 背面的传感器拍摄自己的 Face ID 图像。

该传感器技术同样可用于XR环境。

无限画布

苹果发布会上演示的Vision Pro可以将周围空间作为无限画布。

用户不仅可以随意使用任何APP,而且可以把它们调成喜欢的任意尺寸。

苹果在 2018 年就申请了和这个功能相关的专利,这项技术让未来的XR头显提供用户在 3D 环境中编辑文档的功能。

如下图 Apple 的专利图所示。

另一个相关专利是2021年获得的让佩戴XR头显设备 (HMD) 的用户可以查看显示器(mac、MacBook 或电视)并根据需要进行虚拟扩展的技术。

收购AR初创公司Mira

其实,从申请多项专利可见,苹果在AR/VR领域的探索,蓄谋已久。

最早可以回溯到2010年,苹果就收购了来自瑞典的面部识别技术公司Polar Rose。

在Vision Pro推出的后一天,就传出了苹果近来收购了Mira。这是一家构建轻量级AR头显的初创公司,还为美国军方提供服务。

根据Mira首席执行官Ben Taft在Ins上的帖子显示,作为收购的一部分,苹果已经聘请了至少11名Mira的员工。为Mira在苹果的下一篇章感到兴奋。从宿舍到收购的7年旅程。

目前,具体收购金额未知,也不清楚Mira在苹果的增强现实路线图中扮演怎样的角色。

据2名前员工透露,苹果前设计主管Jony Ive曾一度担任这家初创公司的顾问。

Mira于2016年由Ben Taft创立,总部位于洛杉矶,一直在为全球客户生产AR头显,包括任天堂在日本环球影城中的主题公园。

这家初创公司迄今已筹集了约1700万美元的资金,包括蓝熊资本、幸福投资和红杉资本在内的投资者。

而苹果在Vision Pro中展示出来的很多技术,也是源于一次次成功的收购。

比如一些手势和空间定位的专利技术,就是通过收购了总部位于蒙特利尔的 VRvana获得的。

头显「iphone时刻」到来,还需5年

苹果推出的Vision Pro,预示着它的下一个时代即将到来。

这款头显标志着苹果首次创建了一个新的计算平台,可以取代现有的大部分主要产品。

尽管iPhone蚕食了iPod,iPad威胁到了Mac。但是,还没有哪一个苹果产品类别能够同时击败当前3个主要细分市场。

彭博报道称,想让Vision Pro成为iPhone的替代品,至少需要5年的时间。若要成为杀手级产品,可能需要付出更多的时间。

如今,Vision Pro售价3499美元,价格高且不说,不能与手机互联互通,甚至也不能打电话。

而且设计还是太过笨重,而且必须随身装一个外置电池组,仅有2小时电量,无法长时间使用。

但在接下来的几年里,苹果能够解决这些问题,并推出一款「无所不能」的设备。

表面来看,Vision Pro看起来就像是一个为有钱人,或者那些对科技新品有无限需求的人而定制的「高价玩具」。

但是,苹果在WWDC上也竭力表明,这是每个人的设备,从办公、到娱乐、视频、出行等等方面。

不过,这并非不可能。

苹果在iPhone、MacBook等产品的迭代更新向世人展示了自身的潜力。

进而,Vision Pro及其更先进的后续产品的发展价值,也将变得更加清晰。

其实还有一点是,Vision Pro并不像iPad或iPhone一样容易上手。而且每个人戴上头显还可能会有沉浸体验的不舒适感。

不过,随着时间的推移,人们便会习惯这种全新的「空间计算机」,就像戴一副眼镜一样。

通过Vision Pro,苹果展示了自己正朝着将计算设备体积缩到最小、最轻便的未来努力。

但这可能是一条漫长,而崎岖的道路。

不过,至少在周一的2个小时里,对于数百万果粉来说,这款头显让他们终于见证了Vision Pro的到来。

或许有一天,我们可能会戴着Vision Pro,观看WWDC 2030。

参考资料:

https://Twitter.com/sterlingcrispin/status/1665792422914453506

https://www.bloomberg.com/news/newsletters/2023-06-06/apple-vision-pro-a-post-mac-iphone-and-ipad-future-with-new-visionos-and-apps

https://www.patentlyapple.com/2023/06/today-apple-introduced-the-apple-vision-pro-a-revolutionary-spatial-computer-headset-thats-out-of-this-world-backed-by.html



Tags:Vision Pro   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,不构成投资建议。投资者据此操作,风险自担。如有任何标注错误或版权侵犯请与我们联系,我们将及时更正、删除。
▌相关推荐
用户吐槽苹果Vision Pro:佩戴后头疼、眼睛疲劳、黑眼圈
快科技4月10日消息,据媒体报道,不少用户抱怨,佩戴苹果Vision Pro后,身体健康出现问题。某公司的营销主管Emily Olman表示,第一次佩戴Vision Pro后,她患上了“黑眼圈”。咨询公司Si...【详细内容】
2024-04-10  Search: Vision Pro  点击:(2)  评论:(0)  加入收藏
Vision Pro用户忘记密码必须退回苹果重置 数据也将丢失
【CNMO新闻】日前,苹果Vision Pro头显正式在美国开售。这款高科技产品引发了广大用户的关注。而近日,CNMO注意到,Vision Pro头显的买家发现,如果他们丢失了密码,可能会很麻烦。苹...【详细内容】
2024-02-06  Search: Vision Pro  点击:(81)  评论:(0)  加入收藏
AR 野心遭遇 VR 现实:苹果Vision Pro头显视频透视功能并非完美
IT之家 1 月 30 日消息,苹果 Vision Pro 头显的媒体评测已经出炉,其主要亮点功能之一是 Passthrough(视频透视)功能,该功能利用外部摄像头将周围环境实时投影到头显显示屏上,旨在...【详细内容】
2024-01-30  Search: Vision Pro  点击:(43)  评论:(0)  加入收藏
苹果预告Vision Pro头显细节:超250款Arcade游戏、150部3D电影
IT之家 1 月 9 日消息,根据苹果官方发布的新闻稿,Vision Pro 头显上线初期,会提供超过 250 款 Apple Arcade 游戏,以及超过 150 款 3D 电影。苹果公司表示 Vision Pro 头显不仅...【详细内容】
2024-01-09  Search: Vision Pro  点击:(54)  评论:(0)  加入收藏
迎战苹果Vision Pro 高通发布新款头显芯片 空间计算进入4K时代
财联社1月5日讯(编辑 史正丞)种种迹象显示,就在苹果公司的Vision Pro即将登场之际,一场头戴式设备的硬件大战有望在2024年正式打响。北京时间周四晚间,芯片巨头高通宣布推出骁龙X...【详细内容】
2024-01-05  Search: Vision Pro  点击:(87)  评论:(0)  加入收藏
Apple Vision Pro手部追踪和遮挡演示曝光
Apple Vision Pro开发者发布的一段视频似乎展示了Vision Pro当前的手部追踪和遮挡性能水平。Vision Pro预计将在未来几个月内推出,手部操控将是主要输入方式。系统级交互将手...【详细内容】
2023-12-22  Search: Vision Pro  点击:(72)  评论:(0)  加入收藏
苹果首款头显设备Vision Pro国内上架:售价超3万
近日,业内权威人士Mark Gurman透露,苹果首款Vision Pro在即将上市前,将会举行一场备受期待的发布会。而国内电商平台也曾短暂上架该产品,价格超3万元。据悉,苹果公司正在紧张筹备...【详细内容】
2023-12-11  Search: Vision Pro  点击:(65)  评论:(0)  加入收藏
苹果Vision Pro杀手级应用已至!VR产业迎持续催化 AI+VR或成未来趋势
苹果公司在最新的iOS 17.2 Beta公测版更新中,向iPhone 15 Pro 和 iPhone 15 Pro Max 两款机型,解锁了空间视频拍摄功能。据了解,空间视频拍摄功能将与苹果公司的MR头显Vision P...【详细内容】
2023-11-11  Search: Vision Pro  点击:(138)  评论:(0)  加入收藏
苹果Vision Pro对VR的处理比想象中聪明,或成未来行业标准
(映维网Nweon 2023年10月07日)关于Vision Pro,最有趣的其中一个地方是苹果对完全沉浸式功能的定位方式。苹果一直拒绝使用虚拟现实这个词,并且屡屡重点强调MR和空间计算。所以不...【详细内容】
2023-10-07  Search: Vision Pro  点击:(133)  评论:(0)  加入收藏
小扎深夜炸场,世界首款MR头显暴打Vision Pro!Meta版ChatGPT搬进「元宇宙」,网红神器眼镜高能现身
  他来了他来了,小扎带着Meta Quest 3卷土重来了!  比起前几年相对安静的Meta Connect开发者大会,昨天深夜的这场大会相当震撼。  首先炸场的,就是今年六月就宣布的Quest...【详细内容】
2023-09-28  Search: Vision Pro  点击:(201)  评论:(0)  加入收藏
▌简易百科推荐
用户吐槽苹果Vision Pro:佩戴后头疼、眼睛疲劳、黑眼圈
快科技4月10日消息,据媒体报道,不少用户抱怨,佩戴苹果Vision Pro后,身体健康出现问题。某公司的营销主管Emily Olman表示,第一次佩戴Vision Pro后,她患上了“黑眼圈”。咨询公司Si...【详细内容】
2024-04-10    快科技  Tags:Vision Pro   点击:(2)  评论:(0)  加入收藏
AI是万灵药?Meta要把大模型塞进AR眼镜里
寻找下一块“屏幕”,这无疑是最近几年科技行业的一个热门赛道。随着个人计算机点燃了互联网,智能手机让移动互联网无处不在之后,这前后两次造富神话的出现,也让所有人都在期待下...【详细内容】
2024-04-09    三易生活  Tags:AR眼镜   点击:(5)  评论:(0)  加入收藏
AI+数字人成为市场关注焦点,大屏AI数字人助力展厅设计创意升级
随着各行业产业的数字化转型加速,人工智能时代的到来,展馆展厅行业也步入数字时代,各式的展馆展厅设计在融合了全息投影、虚拟现实、数字沙盘、互动投影、互动桌面等多种技术后...【详细内容】
2024-04-09  世优科技虚拟人    Tags:数字人   点击:(4)  评论:(0)  加入收藏
近百万家公司抢滩,“定制分身”低至几千元 数字人“淘金热”迎来下半场
(开栏语:“大模界”是每日经济新闻推出一档专注生成式AI与大模型技术的前沿科技报道栏目。在这里,我们将聚焦生成式AI技术浪潮,展现从文字、图像、音频、视频的大模型如何编织数...【详细内容】
2024-04-07    每日经济新闻  Tags:数字人   点击:(2)  评论:(0)  加入收藏
Meta:Quest 手势追踪不会用于模拟手柄
IT之家 3 月 28 日消息,Meta Quest 用户期待的“空气手柄”功能可能要落空了。近日,Meta 的一位产品经理明确表示,手势追踪功能不会用于模拟传统的实体手柄控制器。据IT之家了...【详细内容】
2024-03-29    IT之家  Tags:Quest   点击:(8)  评论:(0)  加入收藏
月入25万,批量AI美女,收割中年男人的钱包
  文|刘奕琦  号称“最难被电商撬动”的中年男人们,拜倒在了AI美女们的石榴裙下。  “中年男人不如狗”这句话,一直被视为是中年男性在消费鄙视链里的真实写照。爱捯饬...【详细内容】
2024-03-22    电商在线  Tags:AI美女   点击:(7)  评论:(0)  加入收藏
你关注的网红博主 可能是“假人”
在社交平台上,卡塔琳娜是一位在中国生活了5年的俄罗斯女孩,今年1月开始发布视频,多数附带着商品链接。她拥有超过10万粉丝,看起来只是众多带货网红中的一个。但如果留意就会发现...【详细内容】
2024-03-22    中国宁波网  Tags:网红博主   点击:(12)  评论:(0)  加入收藏
数字人下半场:奔向“真”生产力
作者:产业家如果说2023年,大家关心数字人,更多在于好奇心和新鲜感。如今的2024年,人们则更加看重其是否真正解决行业中的某些痛点。 随着技术的深入发展,数字人正在成为生产生活...【详细内容】
2024-03-21    砍柴网  Tags:数字人   点击:(7)  评论:(0)  加入收藏
IDC:预计2028年全球VR/AR设备规模达2470万台
日前,IDC发布最新市场调研数据,2023年全球VR/AR设备出货量暴跌23.5%,不过IDC也表示伴随着苹果Vision Pro的大规模上市以及全球宏观经济的改善,预计2024年将迎来爆发,出货量预计增...【详细内容】
2024-03-20    PChome电脑之家  Tags:VR   点击:(14)  评论:(0)  加入收藏
虚拟偶像的崛起:科技与艺术的完美结合!
随着科技的飞速发展,我们见证了无数领域的巨大变革。其中,虚拟偶像的崛起是近年来最为引人注目的现象之一。这些虚拟人物不仅引领了新的潮流,还为艺术与科技的结合提供了无限...【详细内容】
2024-02-01    简易百科  Tags:虚拟偶像   点击:(116)  评论:(0)  加入收藏
相关文章
    无相关信息
站内最新
站内热门
站内头条