您当前的位置:首页 > 电脑百科 > 人工智能

人工智能的三个必要条件

时间:2021-04-12 11:09:39  来源:今日头条  作者:麦教授说
人工智能的三个必要条件

 

金融市场的量化密码系列文章(10)

人工智能的必要条件:深度学习模型,大数据,算力

作者:Michael Zhang 麦教授

2016年,AlphaGo下围棋战胜李世乭,大家都认为人工智能的时代到来了。人工智能也是同样的在一定的历史契机下,几个独立发展的领域碰巧合并在一起就产生了巨大的推动力。这一波人工智能发展的三个必要条件是:深度学习模型,大数据,算力(并行计算)。

深度学习模型

AlphaGo用的机器学习模型是深度学习教父杰佛瑞·辛顿(Geoffrey Hinton)在1986年开始倡导,并在2010年取得重大突破的。

人工智能的三个必要条件

「辛顿的推特头像」

2012年的夏天,64岁的辛顿离开了他在多伦多附近的家,成为了谷歌的一名实习生。他领到了一顶缝有“Noogler”(意思是:谷歌新员工,New googler的缩写)字样的螺旋桨小帽,并参加了主要由80后、90后组成的迎新会。年轻的Nooglers不会认出他来,因为辛顿几十年来一直在默默研究神经网络的算法。用他的话说,这些年轻人似乎把他当成了“老年低能儿”(有没有想起罗伯特·德尼罗的电影《实习生》?)。

谷歌之所以要请他,是因为他的深度学习算法模型打破了机器学习几乎所有领域的天花板。人工智能最近几年的突破得益于辛顿过去几十年的研究,他最初在1986年发表的论文提出让机器像人类的大脑一样通过神经网络来做学习的模型。但是这个模型在取得初步的成功后,就停滞不前了(缺乏另外两个要素:数据和算力)。大多数的学者都背弃了它,而辛顿没有。

历史快进20年,到了2006年,辛顿的团队取得了突破性进展。被重新命名为“深度学习(deep learning)”的神经网络开始在每一项关键任务中击败传统的人工智能,如语音识别、描述图像和生成自然可读的句子等等。这些算法支撑着从自动驾驶汽车、虚拟助手到搜索引擎推荐的后端技术。

近几年,谷歌、Facebook、微软、BAT、抖音等所有科技巨头都开始了深度学习的淘金热,争夺世界上极少数的专家,由数亿风险投资支持的深度学习创业公司也如雨后春笋般涌现。这些都是因为辛顿的模型改变了人们做人工智能研究和应用的范式。

值得一提的是:辛顿这个家族出了太多的神一样的人物。

辛顿的曾祖父是乔治·布尔(George Boole),就是就是布尔代数那个布尔。布尔32岁出版了《逻辑的数学分析》(The Mathematical Analysis of Logic),把逻辑和代数之间的关系建立起来。他39岁时出版了《思维的规则》 ( The Laws of Thought ),创立了布尔逻辑和布尔代数。数理逻辑这个数学分支奠定了现代计算机的数学基础。

布尔的妻子叫玛丽·艾佛斯特(Mary Everest),珠穆朗玛峰(Mount Everest)英文名字就是以玛丽的叔叔,曾任印度大地测量局总测量师的乔治·艾佛斯特(George Everest)而命名的。布尔最小的女儿艾捷尔·丽莲·伏尼契 (EthelLilian Voynich)写出了伟大的作品《牛虻》(The Gadfly)。

布尔长女玛丽·爱伦(Mary Ellen) 这一支更是名人辈出,爱伦和数学家Charles Howard Hinton结婚。爱伦的孙女(辛顿的姑姑)Joan Hinton中文名寒春(名字就是Hinton的音译),是芝加哥大学核物理研究所研究生,是费米(Enrico Fermi)的学生,杨振宁、李政道的同学,也是参与了曼哈顿计划的极少数的女科学家之一。

人工智能的三个必要条件

「“一个逃掉的原子间谍”」

1953年,美国的《真相》杂志报道称曾参与过美国曼哈顿计划的女物理学家寒春(Joan Hinton)突然失踪而后在北京露面。作者(是个后海军上将)怀疑寒春向中国透露了美国的原子弹秘密,甚至可能协助中国政府发展了原子弹计划。寒春其实是厌恶了原子弹对人类的伤害而选择逃离到中国,她认为中国最缺的是牛奶,于是选择帮中国推进科学养牛和农业机械化。她是第一位获得中国绿卡的外国人,2010年在北京去世。

和寒春一样,辛顿也厌倦了美国军方开发大规模杀伤武器,1980年代就离开了卡耐基梅隆大学(CMU)到加拿大的多伦多大学专心做人工智能研究。2010年,63岁的他发表的深度神经网络AlexNet对机器学习各个领域都起到巨大的推动作用。2018年,他和自己的学生和合作者一起获得了计算机科学的最高奖“图灵奖”。

人工智能的大数据

辛顿的深度学习算法摧枯拉朽般地推进了机器学习的各个子领域。大众意识到这个算法的威力是在2012年。

2012年,语音识别还远未达到完美。这些系统通常使用隐藏马尔可夫模型(HMM)或高斯混合模型(GMM)来识别语音中的模式。辛顿等人在2012年发表的一篇开创性论文表明,深度神经网络的表现明显优于之前的这些模型。

2012年ImageNet大规模视觉识别挑战赛(ILSVRC),是将深度神经网络用于图像识别的一个决定性时刻。辛顿和他的学生亚历克斯·克里泽夫斯基(Alex Krizhevsky),还有伊尔亚‧苏茨克维(Ilya Sutskever)共同发表了一个被称为“AlexNet”的卷积神经网络(CNN),将ImageNet视觉识别上现有的错误率降低了一半,达到15.3%,比第二名低了10.8个百分点。

为什么之前看不出来这个算法的威力呢?原因很简单,之前研究者们没有大规模的训练人工智能的数据。在小规模数据上,深度学习的算法并没有很强的优势。

人工智能的三个必要条件

「数据规模和算法性能」

图中可以看到,传统的算法会遇到一个瓶颈,数据规模再大也没有办法提高了。但是深度学习可以随着数据规模提升而持续提高算法的表现。

这个计算机视觉比赛用的大规模数据ImageNet来自于斯坦福大学教授李飞飞的研究。她有很强的连接不同领域之间关系的洞察力。她的计算机视觉同行们那时在研究计算机感知和解码图像的模型,但这些模型的范围都很有限,他们可能会写一个算法来识别狗,另一个算法来识别猫。

李飞飞怀疑问题不是出在模型上而是出在数据上。如果一个孩子可以通过观察无数的物体和场景来学会识别物体,那么计算机也许也可以用类似的方式,通过分析大规模的各种各样的图像和它们之间的关系来学习。但是这样就要求训练模型时,有大量的打好标签的图片,告诉计算机图片里的物体都是什么。在一个有百万甚至千万张图片的数据库中标记每张图片上所有的物体是一个巨大的体力活。

2007年在普林斯顿大学担任助理教授的李飞飞提出了她对ImageNet的想法时,很难得到同事们的帮助,因为那时大家只是习惯于用几百到几千张图片的数据库。有人评论说:“如果连一个物体都识别不好,为什么还要识别几千个、几万个物体?”

李飞飞尝试给普林斯顿的学生支付每小时10美元的工资来打标签,但进展缓慢。后来有学生跟她提到了亚马逊人力外包Amazon Mechanical Turk,突然间,她可以用极低的成本雇佣许多人来打标。2009年,李飞飞的团队集齐了320万张(后来增加到1500万张)打过标的图片,他们发表了一篇论文,同时还建立了开放的数据库。

起初,这个项目几乎没有受到关注。后来团队联系了次年在欧洲举行的计算机视觉竞赛的组织者,并要求他们允许参赛者使用ImageNet数据库来训练他们的算法。这就成了ImageNet大规模视觉识别挑战赛。

历年来ImageNet挑战赛的参赛者在科技界的每个角落都能找到。2010年大赛的第一批获奖者后来在谷歌、百度和华为担任了高级职务。基于2013年ImageNet获奖算法创建的Clarifai公司后来获得了4000万美元的风险投资支持。2014年,牛津大学的两位研究人员获得冠军,他们很快被谷歌抢走,并加入了其收购的DeepMind实验室。

人工智能的三个必要条件

「ImageNet错误率逐年下降」

这个数据库突然激发了深度学习的潜能,让人们意识到数据的规模有时比模型的效率更重要,之前人们总是纠结在小规模数据上一点一点的推进算法准确性,而ImageNet和AlexNet让大家看到了数据规模能给人工智能带来的变革。到了2017年,也就是比赛的最后一年,计算机识别物体的错误率已经从2012年的15%降到了3%以下。2020年,很多算法都可以把错误率降低到2%以下了。

算力(并行计算)

所谓深度神经网络,说的是神经网络有好多层,每一层又有好多节点,为了计算最优的模型,要做非常大量的计算。这个方法以前不流行的原因就是它计算量太大了。在处理小规模数据时,深度学习的正确率并不比别的简单模型高,但是计算量大很多,于是并不讨喜。在2010年前后,随着并行计算越来越容易做了,这个计算量的瓶颈突然就变得不那么重要了,于是人工智能的三个必要条件就凑齐了。

人工智能的三个必要条件

「CPU对比GPU」

并行计算可以大幅加快计算的速度。传统的有十几个内核的CPU(中央处理单元)可以同时处理十几个互相独立的运算工作。而GPU(图形处理单元)本来是用来给图形显示加速的,当需要计算复杂的图形的光影时,可以通过GPU上千的内核来做并行处理,从而大幅加快计算速度。

GPU并不适合所有的加速场景,我们遇到的很多问题是串行的,就是一个计算结束之后得到了结果才可以进入下一个计算,这样的场景还是CPU比较高效率。但是有些场景,各个计算之间相互独立,并不需要等待,而深度学习的算法恰恰就符合了这个特性。有人做过一个简单的对比,CPU就和古代军队里的将军一样,适合遇到串行问题时单打独斗;但是GPU就像士兵一样,适合在遇到并行问题时一拥而上。深度学习算法是个并行计算可以解决的问题,于是一拍即合,GPU并行计算的算力被大量应用于人工智能需要加速的场景。

人工智能的三个必要条件

「英伟达(Nvidia)股价」

制作GPU芯片的英伟达公司的股价也一飞冲天,从2016年到现在股价已经翻了20倍。之后人们为人工智能计算又专门研制了更好的协处理器,如TPU 或 NPU,处理AI算法的效率更高。

GPU的重要性当然也和区块链、比特币的发展有关。区块链里面的Proof of Work就需要很多相互独立的计算,也是GPU可以大展身手的领域。



Tags:人工智能   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,如有任何标注错误或版权侵犯请与我们联系(Email:2595517585@qq.com),我们将及时更正、删除,谢谢。
▌相关推荐
11月2日召开的世界顶尖科学家数字未来论坛上,2013年诺贝尔化学奖得主迈克尔·莱维特、2014年诺贝尔生理学或医学奖得主爱德华·莫索尔、2007年图灵奖得主约瑟夫·斯发斯基、1986年图灵奖得主约翰·霍普克罗夫特、2002...【详细内容】
2021-11-03  Tags: 人工智能  点击:(39)  评论:(0)  加入收藏
说起人工智能,大家总把它和科幻电影中的机器人联系起来,而实际上这些科幻场景与现如今的人工智能没什么太大关系。人工智能确实跟人类大脑很相似,但它们的显著差异在于人工智能...【详细内容】
2021-09-17  Tags: 人工智能  点击:(57)  评论:(0)  加入收藏
作者:阿米特·V. 乔希(Ameet V Joshi)来源:华章科技 01 人工智能艾伦·图灵(Alan Turing)对人工智能的定义如下:如果窗帘后面有一台机器,并且有人正在与之互动(无论以何...【详细内容】
2021-09-07  Tags: 人工智能  点击:(74)  评论:(0)  加入收藏
人工智能看似是这几年才流行起来的一个新技术行业,但是人工智能不是一门新学科,它的学科发展已经有了60多年的历史了。如果想要入门人工智能行业,那么你需要学习的知识将会非...【详细内容】
2021-06-16  Tags: 人工智能  点击:(125)  评论:(0)  加入收藏
起源阶段(1943-1969)1943年,神经科学家麦卡洛克(W.S.McCilloch) 和数学家皮兹(W.Pitts)建立了神经网络和数学模型,称为M-P模型,即两个人的名字的合称McCulloch-Pitts。这个模型是对...【详细内容】
2021-06-15  Tags: 人工智能  点击:(132)  评论:(0)  加入收藏
理解什么是人工智能,以及机器学习和深度学习如何影响它,是一种不同凡响的体验。在 Mate Labs 我们有一群自学有成的工程师,希望本文能够分享一些学习的经验和捷径,帮助机器学习...【详细内容】
2021-06-09  Tags: 人工智能  点击:(128)  评论:(0)  加入收藏
韩国著名研究机构IITP(2019年)曾经对外发布了一组调研数据,通过科研专家进行的问卷调查,将全世界范围内的AI强国来了一次评分排座次,最终结果显示中国位列全球第三,第一、二名分别...【详细内容】
2021-05-18  Tags: 人工智能  点击:(402)  评论:(0)  加入收藏
人工智能在各个行业中广泛应用,并且对很多行业都起到了一定的改善作用,同时在各个行业中的应用场景也是大不相同的。那么人工智能在网络安全领域中的应用场景有哪些?人工智能在...【详细内容】
2021-05-12  Tags: 人工智能  点击:(183)  评论:(0)  加入收藏
未来20年,这种工作不可代替,无需担心会失业随着人工智能的发展,已经有很多职业被代替了,尤其是电销行业,在过去需要人工来拨打推销电话,每天差不多最多能够拨打200通电话,这种工作...【详细内容】
2021-05-10  Tags: 人工智能  点击:(139)  评论:(0)  加入收藏
「中国人工智能研究论文总数已经超过了美国,成为全球第一」「人工智能初创企业获得的资本青睐越来越少」「主流NLP系统也存在种族歧视」这些话题都出自斯坦福大学Human-Cent...【详细内容】
2021-04-20  Tags: 人工智能  点击:(202)  评论:(0)  加入收藏
▌简易百科推荐
作为数据科学家或机器学习从业者,将可解释性集成到机器学习模型中可以帮助决策者和其他利益相关者有更多的可见性并可以让他们理解模型输出决策的解释。在本文中,我将介绍两个...【详细内容】
2021-12-17  deephub    Tags:AI   点击:(15)  评论:(0)  加入收藏
基于算法的业务或者说AI的应用在这几年发展得很快。但是,在实际应用的场景中,我们经常会遇到一些非常奇怪的偏差现象。例如,Facebook将黑人标记为灵长类动物、城市图像识别系统...【详细内容】
2021-11-08  数据学习DataLearner    Tags:机器学习   点击:(32)  评论:(0)  加入收藏
11月2日召开的世界顶尖科学家数字未来论坛上,2013年诺贝尔化学奖得主迈克尔·莱维特、2014年诺贝尔生理学或医学奖得主爱德华·莫索尔、2007年图灵奖得主约瑟夫·斯发斯基、1986年图灵奖得主约翰·霍普克罗夫特、2002...【详细内容】
2021-11-03  张淑贤  证券时报  Tags:人工智能   点击:(39)  评论:(0)  加入收藏
鉴于物联网设备广泛部署、5G快速无线技术闪亮登场,把计算、存储和分析放在靠近数据生成的地方来处理,让边缘计算有了用武之地。 边缘计算正在改变全球数百万个设备处理和传输...【详细内容】
2021-10-26    计算机世界  Tags:边缘计算   点击:(45)  评论:(0)  加入收藏
这是几位机器学习权威专家汇总的725个机器学习术语表,非常全面了,值得收藏! 英文术语 中文翻译 0-1 Loss Function 0-1损失函数 Accept-Reject Samplin...【详细内容】
2021-10-21  Python部落    Tags:机器学习   点击:(43)  评论:(0)  加入收藏
要开始为开源项目做贡献,有一些先决条件:1. 学习一门编程语言:由于在开源贡献中你需要编写代码才能参与开发,你需要学习任意一门编程语言。根据项目的需要,在后期学习另一种语言...【详细内容】
2021-10-20  TSINGSEE青犀视频    Tags:机器学习   点击:(37)  评论:(0)  加入收藏
SimpleAI.人工智能、机器学习、深度学习还是遥不可及?来这里看看吧~ 从基本的概念、原理、公式,到用生动形象的例子去理解,到动手做实验去感知,到著名案例的学习,到用所学来实现...【详细内容】
2021-10-19  憨昊昊    Tags:神经网络   点击:(47)  评论:(0)  加入收藏
语言是人类思维的基础,当计算机具备了处理自然语言的能力,才具有真正智能的想象。自然语言处理(Natural Language Processing, NLP)作为人工智能(Artificial Intelligence, AI)的核心技术之一,是用计算机来处理、理解以及运...【详细内容】
2021-10-11    36氪  Tags:NLP   点击:(48)  评论:(0)  加入收藏
边缘计算是什么?近年来,物联网设备数量呈线性增长趋势。根据艾瑞测算, 2020年,中国物联网设备的数量达74亿,预计2025年突破150亿个。同时,设备本身也变得越来越智能化,AI与互联网在...【详细内容】
2021-09-22  汉智兴科技    Tags:   点击:(54)  评论:(0)  加入收藏
说起人工智能,大家总把它和科幻电影中的机器人联系起来,而实际上这些科幻场景与现如今的人工智能没什么太大关系。人工智能确实跟人类大脑很相似,但它们的显著差异在于人工智能...【详细内容】
2021-09-17  异步社区    Tags:人工智能   点击:(57)  评论:(0)  加入收藏
最新更新
栏目热门
栏目头条