您当前的位置:首页 > 互联网百科 > 大数据

大数据岗位必问面试题,关于资源调度器yarn的使用以及执行流程

时间:2022-08-04 10:35:05  来源:  作者:Java热点

在生活中我们大家有时候肯定会因为搬家而烦恼,但是那些搬家公司可以为我们解决这些问题,今天我们讲的Yarn在Hadoop集群中就起到了这样的作用,来负责资源调度

Yarn

  • 5.Yarn的调度器和调度算法
  • (1)先进先出调度器(FIFO)(2)容量调度器(Capacity Scheduler)(3)公平调度器(Fair Scheduler)
  • 6.1 yarn Application查看任务6.2 yarn logs查看日志6.3 yarn applicationattempt查看尝试运行的任务6.4 yarn container查看容器6.5 yarn node查看节点状态6.6 yarn rmadmin更新配置6.7 yarn queue查看队列
  • 8.3 说一下关于yarn的几种资源调度器8.4 简单介绍三个组件的作用?8.5 什么是container?

1.什么是Yarn?

Apache Hadoop YARN 是开源 Hadoop 分布式处理框架中的资源管理和作业调度技术。作为 Apache Hadoop 的核心组件之一,YARN 负责将系统资源分配给在 Hadoop 集群中运行的各种应用程序,并调度要在不同集群节点上执行的任务。

2.Yarn的基础架构

YARN主要由ResourceManager、NodeManager、ApplicationMaster和Container等组件构成。

 

YARN的基本组成结构,YARN 主要由 ResourceManager、NodeManager、ApplicationMaster 和 Container 等几个组件构成。

  • ResourceManager是Master上一个独立运行的进程,负责集群统一的资源管理、调度、分配等等;
  • NodeManager是Slave上一个独立运行的进程,负责上报节点的状态;
  • ApplicationMaster相当于这个Application的监护人和管理者,负责监控、管理这个Application的所有Attempt在* cluster中各个节点上的具体运行,同时负责向Yarn ResourceManager申请资源、返还资源等;
  • Container是yarn中分配资源的一个单位,包涵内存、CPU等等资源,YARN以Container为单位分配资源;

ResourceManager 负责对各个 NadeManager 上资源进行统一管理和调度。当用户提交一个应用程序时,需要提供一个用以跟踪和管理这个程序的 ApplicationMaster,它负责向 ResourceManager 申请资源,并要求 NodeManger 启动可以占用一定资源的任务。由于不同的 ApplicationMaster 被分布到不同的节点上,因此它们之间不会相互影响。

3.Yarn的工作机制

 

(1)MR程序提交到客户端所在的节点。

(2)YarnRunner向ResourceManager申请一个Application。

(3)RM将该应用程序的资源路径返回给YarnRunner。

(4)该程序将运行所需资源提交到HDFS上。

(5)程序资源提交完毕后,申请运行mrAppMaster。

(6)RM将用户的请求初始化成一个Task。

(7)其中一个NodeManager领取到Task任务。

(8)该NodeManager创建容器Container,并产生MRAppmaster。

(9)Container从HDFS上拷贝资源到本地。

(10)MRAppmaster向RM 申请运行MapTask资源。

(11)RM将运行MapTask任务分配给另外两个NodeManager,另两个NodeManager分别领取任务并创建容器。

(12)MR向两个接收到任务的NodeManager发送程序启动脚本,这两个NodeManager分别启动MapTask,MapTask对数据分区排序。

(13)MrAppMaster等待所有MapTask运行完毕后,向RM申请容器,运行ReduceTask。

(14)ReduceTask向MapTask获取相应分区的数据。

(15)程序运行完毕后,MR会向RM申请注销自己。

4.Yarn的作业提交过程

Application在Yarn中的执行过程,整个执行过程可以总结为三步:

(1)应用程序提交

(2)启动应用的ApplicationMaster实例

(3)ApplicationMaster 实例管理应用程序的执行

 

作业提交全过程详解

(1)作业提交

第1步:Client调用job.waitForCompletion方法,向整个集群提交MapReduce作业。

第2步:Client向RM申请一个作业id。

第3步:RM给Client返回该job资源的提交路径和作业id。

第4步:Client提交jar包、切片信息和配置文件到指定的资源提交路径。

第5步:Client提交完资源后,向RM申请运行MrAppMaster。

(2)作业初始化

第6步:当RM收到Client的请求后,将该job添加到容量调度器中。

第7步:某一个空闲的NM领取到该Job。

第8步:该NM创建Container,并产生MRAppmaster。

第9步:下载Client提交的资源到本地。

(3)任务分配

第10步:MrAppMaster向RM申请运行多个MapTask任务资源。

第11步:RM将运行MapTask任务分配给另外两个NodeManager,另两个NodeManager分别领取任务并创建容器。

(4)任务运行

第12步:MR向两个接收到任务的NodeManager发送程序启动脚本,这两个NodeManager分别启动MapTask,MapTask对数据分区排序。

第13步:MrAppMaster等待所有MapTask运行完毕后,向RM申请容器,运行ReduceTask。

第14步:ReduceTask向MapTask获取相应分区的数据。

第15步:程序运行完毕后,MR会向RM申请注销自己。

(5)进度和状态更新

YARN中的任务将其进度和状态(包括counter)返回给应用管理器, 客户端每秒(通过
mapreduce.client.progressmonitor.pollinterval设置)向应用管理器请求进度更新, 展示给用户。

(6)作业完成

除了向应用管理器请求作业进度外, 客户端每5秒都会通过调用waitForCompletion()来检查作业是否完成。时间间隔可以通过
mapreduce.client.completion.pollinterval来设置。作业完成之后, 应用管理器和Container会清理工作状态。作业的信息会被作业历史服务器存储以备之后用户核查。

5.Yarn的调度器和调度算法

目前,Hadoop作业调度器主要有三种:FIFO、容量(Capacity Scheduler)和公平(Fair Scheduler)。Apache Hadoop3.1.3默认的资源调度器是Capacity Scheduler。

CDH框架默认调度器是Fair Scheduler。

具体设置详见:yarn-default.xml文件

<property>    <description>The class to use as the resource scheduler.</description>    <name>yarn.resourcemanager.scheduler.class</name><value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value></property>

(1)先进先出调度器(FIFO)

FIFO调度器(First In First Out):单队列,根据提交作业的先后顺序,先来先服务。

 

优点:简单易懂;

缺点:不支持多队列,生产环境很少使用;

(2)容量调度器(Capacity Scheduler)

Capacity Scheduler是Yahoo开发的多用户调度器。

 

(3)公平调度器(Fair Scheduler)

Fair Schedulere是Facebook开发的多用户调度器。

 

公平调度器缺额

 


 

公平调度器资源分配算法

 

公平调度器队列资源分配方式

 


 

6.Yarn常用命令

Yarn状态的查询,除了可以在hadoop103:8088页面查看外,还可以通过命令操作。常见的命令操作如下所示:

需求:执行wordCount案例,并用Yarn命令查看任务运行情况。

[atguigu@hadoop102 hadoop-3.1.3]$ myhadoop.sh start[atguigu@hadoop102 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output

6.1 yarn application查看任务

(1)列出所有Application:

[atguigu@hadoop102 hadoop-3.1.3]$ yarn application -list2021-02-06 10:21:19,238 INFO client.RMProxy: Connecting to ResourceManager at hadoop103/192.168.10.103:8032Total number of applications (application-types: [], states: [SUBMITTED, ACCEPTED, RUNNING] and tags: []):0                Application-Id    Application-Name    Application-Type      User     Queue             State       Final-State       Progress                       Tracking-URL

(2)根据Application状态过滤:yarn application -list -appStates (所有状态:ALL、NEW、NEW_SAVING、SUBMITTED、ACCEPTED、RUNNING、FINISHED、FAILED、KILLED)

[atguigu@hadoop102 hadoop-3.1.3]$ yarn application -list -appStates FINISHED2021-02-06 10:22:20,029 INFO client.RMProxy: Connecting to ResourceManager at hadoop103/192.168.10.103:8032Total number of applications (application-types: [], states: [FINISHED] and tags: []):1                Application-Id    Application-Name    Application-Type      User     Queue             State       Final-State       Progress                       Tracking-URLapplication_1612577921195_0001          word count           MAPREDUCE   atguigu   default          FINISHED         SUCCEEDED           100%http://hadoop102:19888/jobhistory/job/job_1612577921195_0001

(3)Kill掉Application:

[atguigu@hadoop102 hadoop-3.1.3]$ yarn application -kill application_1612577921195_00012021-02-06 10:23:48,530 INFO client.RMProxy: Connecting to ResourceManager at hadoop103/192.168.10.103:8032Application application_1612577921195_0001 has already finished

6.2 yarn logs查看日志

(1)查询Application日志:yarn logs -applicationId

[atguigu@hadoop102 hadoop-3.1.3]$ yarn logs -applicationId application_1612577921195_0001

(2)查询Container日志:yarn logs -applicationId -containerId

[atguigu@hadoop102 hadoop-3.1.3]$ yarn logs -applicationId application_1612577921195_0001 -containerId container_1612577921195_0001_01_000001

6.3 yarn applicationattempt查看尝试运行的任务

(1)列出所有Application尝试的列表:yarn applicationattempt -list

[atguigu@hadoop102 hadoop-3.1.3]$ yarn applicationattempt -list application_1612577921195_00012021-02-06 10:26:54,195 INFO client.RMProxy: Connecting to ResourceManager at hadoop103/192.168.10.103:8032Total number of application attempts :1         ApplicationAttempt-Id               State                    AM-Container-Id                       Tracking-URLappattempt_1612577921195_0001_000001            FINISHEDcontainer_1612577921195_0001_01_000001http://hadoop103:8088/proxy/application_1612577921195_0001/

(2)打印ApplicationAttemp状态:yarn applicationattempt -status

[atguigu@hadoop102 hadoop-3.1.3]$ yarn applicationattempt -status appattempt_1612577921195_0001_0000012021-02-06 10:27:55,896 INFO client.RMProxy: Connecting to ResourceManager at hadoop103/192.168.10.103:8032Application Attempt Report : ApplicationAttempt-Id : appattempt_1612577921195_0001_000001State : FINISHEDAMContainer : container_1612577921195_0001_01_000001Tracking-URL : http://hadoop103:8088/proxy/application_1612577921195_0001/RPC Port : 34756AM Host : hadoop104Diagnostics :

6.4 yarn container查看容器

(1)列出所有Container:yarn container -list <ApplicationAttemptId>

[atguigu@hadoop102 hadoop-3.1.3]$ yarn container -list appattempt_1612577921195_0001_000001

2021-02-06 10:28:41,396 INFO client.RMProxy: Connecting to ResourceManager at hadoop103/192.168.10.103:8032

Total number of containers :0

Container-Id Start Time Finish Time State Host Node Http Address

(2)打印Container状态: yarn container -status

[atguigu@hadoop102 hadoop-3.1.3]$ yarn container -status container_1612577921195_0001_01_000001

2021-02-06 10:29:58,554 INFO client.RMProxy: Connecting to ResourceManager at hadoop103/192.168.10.103:8032

Container with id ‘container_1612577921195_0001_01_000001’ doesn’t exist in RM or Timeline Server.

注:只有在任务跑的途中才能看到container的状态

6.5 yarn node查看节点状态

列出所有节点:yarn node -list -all

[atguigu@hadoop102 hadoop-3.1.3]$ yarn node -list -all2021-02-06 10:31:36,962 INFO client.RMProxy: Connecting to ResourceManager at hadoop103/192.168.10.103:8032Total Nodes:3         Node-Id     Node-StateNode-Http-AddressNumber-of-Running-Containers hadoop103:38168        RUNNING   hadoop103:8042                           0 hadoop102:42012        RUNNING   hadoop102:8042                           0 hadoop104:39702        RUNNING   hadoop104:8042                           0

6.6 yarn rmadmin更新配置

加载队列配置:yarn rmadmin -refreshQueues

[atguigu@hadoop102 hadoop-3.1.3]$ yarn rmadmin -refreshQueues2021-02-06 10:32:03,331 INFO client.RMProxy: Connecting to ResourceManager at hadoop103/192.168.10.103:8033

6.7 yarn queue查看队列

打印队列信息:yarn queue -status <QueueName>
[atguigu@hadoop102 hadoop-3.1.3]$ yarn queue -status default2021-02-06 10:32:33,403 INFO client.RMProxy: Connecting to ResourceManager at hadoop103/192.168.10.103:8032Queue Information : Queue Name : defaultState : RUNNINGCapacity : 100.0%Current Capacity : .0%Maximum Capacity : 100.0%Default Node Label expression : <DEFAULT_PARTITION>Accessible Node Labels : *Preemption : disabledIntra-queue Preemption : disabled

7.Yarn的生产核心参数

 

8.Yarn常见面试题

8.1 yarn主要作用

YARN 的基本设计思想是将MapReduce V1 中的JobTracker 拆分为两个独立的服务:ResourceManager 和ApplicationMaster。ResourceManager 负责整个系统的资源管理和分配,ApplicationMaster 负责单个应用程序的的管理。

8.2 yarn的结构

关于yarn的结构博主在上面详细的介绍了,请移步上文。

8.3 说一下关于yarn的几种资源调度器

这个在博主的博客中etl实习面试里面有,附上一个超链接捏(
https://blog.csdn.NET/h123456789999999/article/details/125305835?spm=1001.2014.3001.5502)

8.4 简单介绍三个组件的作用?

RM:负责所有资源的监控、分配和管理

AM:负责每一个具体应用程序的调度和协调

--applicationmaster。用户提交的每个应用程序均包含一个AM,它可以运行在RM以外的机器上。

NM:负责每一个节点的维护。

--nodemanger负责该节点的程序的正常运行,定时向RM汇报本节点资源(cpu、内存)的使用情况和Container的运行状况。当Rm宕机后连接RM的备用节点。负责接收并处理来自AM的Container的启动、停止等各种请求。

8.5 什么是container?

是一个抽象概念,称之为容器,包含任务运行时所需的资源(包括内存、硬盘、cpu等)和环境(包含启动命令、环境变量等)

8.6 yarn的执行流程?

①客户端向集群提交一个任务,该任务首先到RM中的AM②AM收到任务后,会在集群中找一个NodeManger,在该NodeManger上启动一个APPMaster进程。该进程用于执行任务划分和任务监控。③AppMaster启动起来之后,会向RM中的AM注册信息,APPMaster向RM下的ResourceSchedule申请计算任务所需的资源。④AppMaster申请到资源之后,会与所有NodeManger通信要求他们启动所有计算任务(map和reudce)⑤各个NM启动对应的容器Container用来执行Map和Reduce任务。⑥各个任务会向APPMaster汇报自己的执行进度和执行状况,以便让AppMaster随时掌握各个任务的运行状态,在某个任务出了问题之后重启执行该任务。⑦在执行完之后,APPMaster会向AM汇报,以便让ApplicationManger注销并关闭自己,使得资源得以回收。

**关于Yarn的知识先拓展这些,博主想和大家说如果拿到了自己的offer一定要问清楚再去,否则会贼惨,歇了一周继续码吧。。



Tags:大数据   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,如有任何标注错误或版权侵犯请与我们联系(Email:2595517585@qq.com),我们将及时更正、删除,谢谢。
▌相关推荐
在生活中我们大家有时候肯定会因为搬家而烦恼,但是那些搬家公司可以为我们解决这些问题,今天我们讲的Yarn在Hadoop集群中就起到了这样的作用,来负责资源调度Yarn 5.Yarn的调度...【详细内容】
2022-08-04  Tags: 大数据  点击:(0)  评论:(0)  加入收藏
下周一,即8月1日,又有一大批重磅新规将实施,与你的孩子、妻子、票子、车子以及房子(五子)都相关! 下面,我们就来分别详细地看一看,8月到底都有哪些方面的新规?首先,我们来看一看,跟“孩...【详细内容】
2022-07-30  Tags: 大数据  点击:(6)  评论:(0)  加入收藏
大数据分析在企业的数字化营销中发挥着关键性的作用,大数据分析指从海量的数据中提取出最有效最有价值的信息;而大数据可视化是进行各种大数据分析的最重要且关键的环节之一。...【详细内容】
2022-07-25  Tags: 大数据  点击:(16)  评论:(0)  加入收藏
2022-07-22  Tags: 大数据  点击:(13)  评论:(0)  加入收藏
一、Zookeeper概述与安装Zookeeper概述与安装请参考我之前的文章:分布式开源协调服务&mdash;&mdash;ZookeeperZookeeper的安装方式有两种,两种方式都会讲,其实大致配置都是一样...【详细内容】
2022-07-15  Tags: 大数据  点击:(2588)  评论:(0)  加入收藏
大数据在商业中的作用日趋凸显,数据驱动已经成为企业发展的核心竞争力。然而,在日常工作中,数据团队常常是业务部门的工具人,需要数据的时候向数据团队提个需求,但业务究竟是如何...【详细内容】
2022-07-12  Tags: 大数据  点击:(18)  评论:(0)  加入收藏
在我们平时进行数据挖掘建模时,一般首先得对数据进行预处理,其中常用的方法包括缺失值处理、共线性处理、异常值处理、数据标准化、数据归一化等。缺失值处理有时样本的数据...【详细内容】
2022-07-11  Tags: 大数据  点击:(23)  评论:(0)  加入收藏
据央视新闻,7月7日晚查询“通信大数据行程卡”发现,查询结果的显示有新变化,用户到达或途经地区的时间范围由14天变为7天。 此外,“通信大数据行程卡”使用指南中的表述也有变化...【详细内容】
2022-07-08  Tags: 大数据  点击:(16)  评论:(0)  加入收藏
你是否有过这样的经历:在某网站或APP上搜索了一个商品词后,再去浏览其他软件时,总会弹出和此前商品有关的信息或广告;你是否经常接到一些陌生电话,他们知道你的名字,甚至还知道你...【详细内容】
2022-06-30  Tags: 大数据  点击:(35)  评论:(0)  加入收藏
大数据揭秘!美债利率倒挂如何影响大类资产走势?...【详细内容】
2022-06-21  Tags: 大数据  点击:(38)  评论:(0)  加入收藏
▌简易百科推荐
在生活中我们大家有时候肯定会因为搬家而烦恼,但是那些搬家公司可以为我们解决这些问题,今天我们讲的Yarn在Hadoop集群中就起到了这样的作用,来负责资源调度Yarn 5.Yarn的调度...【详细内容】
2022-08-04  Java热点    Tags:大数据   点击:(0)  评论:(0)  加入收藏
2022-07-22  羊洋阳氧    Tags:大数据   点击:(13)  评论:(0)  加入收藏
萌新小白如何开始数据分析?专职想做数据分析该如何开始??大部分人听到“数据分析”,都觉得这是一个非常高大上的词汇,似乎高不可攀。 但在我看来,数据分析并不是一种冷冰冰的工作...【详细内容】
2022-07-21  DataFocus    Tags:数据分析   点击:(16)  评论:(0)  加入收藏
什么是数据同步工具?数据同步工具的作用是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程,目的是将企业中的分散、零乱、标准不统一的数据整合到一起,为企业的决...【详细内容】
2022-07-21  下秒数据    Tags:ETL   点击:(16)  评论:(0)  加入收藏
数据可视化是数据处理中的重要部分,前面我们了解了 Flask 的开发和部署,如何用 Flask 做数据可视化呢?今天我们来了解一下。Python 语言极富表达力,并且拥有众多的数据分析库和...【详细内容】
2022-07-17  VT漫步    Tags:数据可视化   点击:(18)  评论:(0)  加入收藏
一、Zookeeper概述与安装Zookeeper概述与安装请参考我之前的文章:分布式开源协调服务&mdash;&mdash;ZookeeperZookeeper的安装方式有两种,两种方式都会讲,其实大致配置都是一样...【详细内容】
2022-07-15  大数据老司机    Tags:Zookeeper   点击:(2588)  评论:(0)  加入收藏
大数据在商业中的作用日趋凸显,数据驱动已经成为企业发展的核心竞争力。然而,在日常工作中,数据团队常常是业务部门的工具人,需要数据的时候向数据团队提个需求,但业务究竟是如何...【详细内容】
2022-07-12  大数据推荐杂谈    Tags:大数据   点击:(18)  评论:(0)  加入收藏
在我们平时进行数据挖掘建模时,一般首先得对数据进行预处理,其中常用的方法包括缺失值处理、共线性处理、异常值处理、数据标准化、数据归一化等。缺失值处理有时样本的数据...【详细内容】
2022-07-11  微说互联网    Tags:大数据   点击:(23)  评论:(0)  加入收藏
作者: 俊欣来源:关于数据分析与可视化今天小编来为大家安利另外一个用于绘制可视化图表的Python框架,名叫Dash,建立在Flask、Plotly.js以及React.js的基础之上,在创建之出的目的...【详细内容】
2022-06-22  CDA数据分析师    Tags:可视化框架   点击:(57)  评论:(0)  加入收藏
最近可视化互动平台,新增支持了SVG path底图,可以用来灵活地创造出非常炫酷的可视化大屏,让数据与图例之间产生更符合更直观的关联。SVG底图大大加强了数据图表的表现力。下面...【详细内容】
2022-06-22  迪赛智慧数    Tags:数据可视化   点击:(43)  评论:(0)  加入收藏
站内最新
站内热门
站内头条