您当前的位置:首页 > 生活百科 > 科学

谷歌的黑科技!不编程能让机器人自主移动?深度学习的魅力

时间:2020-03-11 15:20:22  来源:  作者:

可靠和稳定的运动一直是有腿机器人最根本的挑战之一。深度强化学习(深度RL)已成为一种有前途的自主开发此类控制策略的方法。最近,一个名为Rainbow Dash的机器人就用此方法自学了走路。这只四脚机器只需要几个小时就可以学会向前和向后行走,并在此过程中左右旋转。

谷歌的黑科技!不编程能让机器人自主移动?深度学习的魅力

 

这是google研究人员的一项新研究取得了重大进展,表现为机器人可以在没有人工干预的情况下学习走路。在几个小时内,仅仅依靠对当前最先进算法的微调,它们成功地让一个四条腿的机器人学会了完全独立的向前走和向后走,以及左右转弯。

加州大学伯克利分校和佐治亚理工学院的研究人员在ArXiv预印服务器上发表了这篇论文,描述了一种统计AI技术,也是他们能用来产生这个成就的原因,即深度强化学习。他们开发了一个系统,用于以最少的人力在现实世界中以深度RL学习腿式运动策略。机器人学习系统的主要困难是自动数据收集和安全性。通过开发多任务学习程序,自动重置控制器和受安全限制的RL框架,他们克服了这两个挑战。

研究人员在学习如何在三种不同地形上行走的任务上测试了这个系统:平坦的地面,柔软的床垫和带有缝隙的门垫。我们的系统无需人工干预,即可在Minitaur机器人上自动高效地学习运动技能。

这项工作建立在一年前的研究基础上,当时研究团队首次发现了如何让机器人在现实世界中学习,此前,大多数强化学习部署都在计算机模拟的环境中进行。但是,Rainbow Dash使用此技术来学习在实际物理环境中行走。而且,它能够在没有专门的教学机制的情况下进行操作,例如人工指导或带有标签的培训数据。最终,Rainbow Dash成功地在多个表面上行走,包括柔软的泡沫床垫和带有明显凹口的门垫。

此前,强化学习通常会这样在模拟环境中进行:机器人的虚拟分身在模拟的环境中走来走去,直到算法足够完善,可以使其安全运行为止。然后将其导入真正的机器人。

谷歌的黑科技!不编程能让机器人自主移动?深度学习的魅力

 

这种方法有助于避免机器人在反复实验过程中对周围环境的损伤,但也需要一个易于建模的环境。在机器人脚下模拟自然散落的沙砾或者弹簧床垫需要很长时间,根本不值得。

基于这种状况,研究人员从一开始就决定通过在真实世界中训练来避免困难的环境建模。他们设计了一种更高效的算法,可以使学习的试验次数变少一点,并在两个小时内让机器人站起来行走。由于实际环境中会有自然变化,机器人也能够快速适应其他相似的环境,如斜坡、台阶以及有障碍的平地。

于是他们开始解决这个新问题。首先,他们限定了机器人可以探索的地形,并让它一次性进行多重动作训练。如果机器人在学习如何向前走的同时到达了限定地形的边缘,它就会改变方向,开始学习如何向后走。

谷歌的黑科技!不编程能让机器人自主移动?深度学习的魅力

 

其次,研究人员还限制了机器人的训练动作,让它能够谨慎一些,最大限度地减少反复摔倒带来的伤害。当机器人不可避免地摔倒时,他们还添加了另一个硬编码算法来帮助它站起来。

通过这些调整,机器人学会了如何在几个不同的环境中自主行走,包括平地、记忆泡沫床垫和有缝隙的门垫。这项实验给未来的某些应用带来了可能性,有些情况可能需要机器人在没有人类的情况下在坎坷和未知的地形中行走。

机器人使用的深度强化学习技术包括一种机器学习技术,其中通过代理服务器与环境交互以反复试验来学习。一般而言,机器学习是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。科学团队一开始就专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能,它是人工智能的核心,是使计算机具有智能的根本途径,原先,大多数强化学习用例都涉及计算机游戏,例如在数字特工中学习如何取得胜利,本次应用也是谷歌对于人工智能算法的一次极好尝试。

而在机器人身上的所谓深度强化学习,指的是当计算机正确完成一项任务时,它将获得指导其学习过程的奖励。尽管以“先验知识”算法概述了任务的步骤,但是如何准确地执行这些步骤却没有。当机器人擅长执行某个步骤时,其奖励会增加,从而创建一种反馈机制,促使机器人学习最佳方法,例如将热狗放在面包上。

这种形式的机器学习与传统的有监督或无监督学习明显不同,在传统的有监督或无监督学习中,机器学习模型需要标记的训练数据来学习。深度强化学习将强化学习方法与深度学习相结合,传统的机器学习的规模随着强大的计算能力而大大扩展。

斯坦福大学助理教授Chelsea Finn表示:“这项工作令人感到非常兴奋。” 芬恩也为谷歌工作,但没有参与这项研究。“让这个过程不再出现人工干预真的很难。机器人能够更自主地学习,就更有可能在我们生活的现实世界中学习,而不是在实验室里。”但她也提醒到,目前的设置依赖于机器人上方的动作捕捉系统来确定其位置。这在现实世界中是不可能的。

谷歌的黑科技!不编程能让机器人自主移动?深度学习的魅力

 


谷歌的黑科技!不编程能让机器人自主移动?深度学习的魅力

 

尽管研究团队将Rainbow Dash的学习能力归功于自己,但人为干预仍在实现该目标方面发挥了重要作用。例如研究人员必须创建边界,机器人可以在该边界内学习走路,以防止机器人离开该区域。他们还必须设计特定的算法来防止机器人摔倒,其中一些算法集中在限制机器人的运动上。为了防止诸如坠落损坏之类的事故,通常在数字环境中进行机器人强化学习,然后再将算法转移到物理机器人上以保持其安全性。

接下来,研究人员希望他们的算法能适用于不同种类的机器人,或适用于多个机器人在同一环境中同时进行学习。谭杰相信,破解机器人的运动能力将是解锁更多有用机器人的关键。“很多地方都是为人类建造的,我们都用腿来走路,” 他说,“如果机器人学不会使用腿,它们就不能在人类世界中行走。”

这确实是机器人自主行动的重要一步了,距离机器人自己自主行动也并不遥远,到时候,我们到底是该恐惧还是兴奋呢?



Tags:谷歌   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,如有任何标注错误或版权侵犯请与我们联系(Email:2595517585@qq.com),我们将及时更正、删除,谢谢。
▌相关推荐
IT之家 7 月 15 日消息,谷歌今天正式发布了 Chrome OS Flex,这是为企业和学校设计的新版本 Chrome OS,可在旧 PC 和 Mac 上安装和运行。谷歌今年早些时候首次开始测试 Chrome O...【详细内容】
2022-07-15  Tags: 谷歌  点击:(2)  评论:(0)  加入收藏
Google Voice 是什么?Google Voice 是由 Google 推出的 VOIP 服务,又称GV号或者谷歌Voice账号,也就是你得到了一个虚拟的美国电话号码,可以用来接听被绑定的美国实体卡号,也可以...【详细内容】
2022-07-14  Tags: 谷歌  点击:(5)  评论:(0)  加入收藏
在整个Android手机领域,由谷歌推出的Pixel系列机型,其实地位一直是比较特殊的。而原因也很简单,因为Pixel系列既是谷歌面向普通消费者的产品,但与此同时还要承担最新Android系统...【详细内容】
2022-07-06  Tags: 谷歌  点击:(2)  评论:(0)  加入收藏
财经网科技7月6日讯,据新浪科技消息,Glance 公司是一家得到谷歌支持的移动广告公司。未来 2 个月,Glance 准备在美国将自己的锁屏平台推向 Android 设备,也就是说 Android 手机...【详细内容】
2022-07-06  Tags: 谷歌  点击:(8)  评论:(0)  加入收藏
谷歌浏览器拥有无数隐藏的秘密,包括一个让网页浏览变得轻松的侧边搜索面板。Google Chrome网络浏览器有一个方便但鲜为人知的功能:侧面搜索面板。当页面不符合我们的要求或在...【详细内容】
2022-07-01  Tags: 谷歌  点击:(21)  评论:(0)  加入收藏
IT之家 6 月 21 日消息,谷歌 ChromeOS 在管理文件方面进行了改进,新增了对 7z、iso 和 tar 等格式的支持。从 5 月的 ChromeOS 101 更新开始,ChromeOS 新增了对 7z 格式的支持,7...【详细内容】
2022-06-22  Tags: 谷歌  点击:(34)  评论:(0)  加入收藏
导读:本篇文章旨在告诉您特殊的谷歌搜索结果样式——谷歌精选摘要Featured snippets。什么是谷歌精选摘要,精选摘要的好处,以及如何让网站获得谷歌的精选摘要。一、...【详细内容】
2022-06-08  Tags: 谷歌  点击:(41)  评论:(0)  加入收藏
不少人在论坛中询问现在有效的外贸推广方式,而建议做独立站谷歌优化的占一半以上,那么为什么很多企业对谷歌优化情有独钟呢?谷歌优化能够为企业带来什么呢?下面云程网络就来为...【详细内容】
2022-06-02  Tags: 谷歌  点击:(39)  评论:(0)  加入收藏
Google I / O 2022开发人员大会中,谷歌推出了一种全新的地图模式,让你足不出户,就能在手机上沉浸式体验世界各地的风光。元宇宙在地图上打开了一个新形式。 这个新功能就是Imme...【详细内容】
2022-05-25  Tags: 谷歌  点击:(70)  评论:(0)  加入收藏
每个人都想自己的商城或者会员系统接入社交登录,类似下图: 社交登录又称作社会化登录(Social Login),是指网站的用户可以使用Google等社会化媒体账号登录该网站。借助社会化媒...【详细内容】
2022-05-20  Tags: 谷歌  点击:(41)  评论:(0)  加入收藏
▌简易百科推荐
编辑:Joey 好困【新智元导读】7月12日,NASA正式发布首批韦伯空间望远镜的全彩深空图像,这也是迄今为止观测到的最深、最清晰的早期宇宙红外图像。 万众期待的「宇宙大片」终于...【详细内容】
2022-07-12  新智元    Tags:NASA   点击:(19)  评论:(0)  加入收藏
“风云三号E星、风云四号B星两颗风云气象‘新星’的主要数据产品将向全球用户开放共享。”近日,在世界气象组织(WMO)执行理事会第75次届会上,中国气象局党组书记、局...【详细内容】
2022-07-11    光明网  Tags:风云   点击:(9)  评论:(0)  加入收藏
过去的经验告诉我们,谁主导了工业革命,谁就掌握了未来的国运,第一次工业革命成就了日不落帝国——英国,第二次和第三次工业革命又让美国制霸全球。如今,中国经过几代科...【详细内容】
2022-07-10  盘点百科  今日头条  Tags:技术   点击:(7)  评论:(0)  加入收藏
2022-07-05    人民网  Tags:天气预报   点击:(12)  评论:(0)  加入收藏
科技日报记者 金凤北京时间7月3日晚,世界一级方程式锦标赛英国站比赛上演惊魂一幕。中国车手周冠宇在发车阶段被卷入碰撞事故,其赛车失控发生翻转,并高速冲出赛道,受损极为严重...【详细内容】
2022-07-04    科技日报  Tags:赛车   点击:(5)  评论:(0)  加入收藏
近日,北京师范大学天文系教授、中国地外文明搜寻首席科学家张同杰对媒体透露,其团队使用“中国天眼”发现了几例“来自地球之外可能的技术痕迹和地外文明候选信号”。张同杰指...【详细内容】
2022-07-02    中国新闻周刊  Tags:中国天眼   点击:(13)  评论:(0)  加入收藏
冰川期狼的DNA揭示狗的起源(图源Jessica Rae Peto)。 施普林格·自然 供图中新网北京6月30日电 (记者 孙自法)狗的祖先在哪里?国际著名学术期刊《自然》最新发表一篇基...【详细内容】
2022-06-30    中国新闻网  Tags:   点击:(19)  评论:(0)  加入收藏
据《每日邮报》、CNN等媒体报道,近日,美国国家航空航天局(NASA)宣布,其凌日系外行星勘测卫星“苔丝”(TESS)任务发现两个可能含有岩石矿物的“超级地球”,是距离我们的星球只有33光...【详细内容】
2022-06-21    华商报  Tags:地球   点击:(19)  评论:(0)  加入收藏
爱因斯坦相对论给了我们一个全新的时空观,认为时空也属于物质范畴,而我们通常所说的物质都在时空中运动,都被时空给“兜住”了,时空堪称世界上最“坚硬”的物质。那么,宇宙中无数...【详细内容】
2022-06-21  宇宙探索    Tags:星球   点击:(27)  评论:(0)  加入收藏
综述宇宙星辰无数,如果在夜里选择观测条件好的某个地方,仅凭肉眼就能看到大约2000颗星星;这些星星因距离的原因忽闪忽现,其中最亮的应该当属北斗七星了。很多人都以为北斗七星是...【详细内容】
2022-06-20  奇怪姿势涨知识    Tags:北斗七星   点击:(42)  评论:(0)  加入收藏
站内最新
站内热门
站内头条