yarn中文翻译 yarn

yarn常用命令1,yarn top:类似linux里的top命令,查看正在运行的程序资源使用情况
2,yarn queue -status队列名 :查看指定queue使用情况
3,yarn application -list -appStates 【ALL,NEW,NEW_SAVING,SUBMITTED,ACCEPTED,RUNNING,FINISHED,FAILED,KILLED】
yarn application -list -appTypes [SUBMITTED, ACCEPTED, RUNNING] : 查看app状态
yarn application -movetoqueue application_name -queue队列名 :移动app到对应的队列
yarn application -kill application_name : kill掉app
yarn application -status application_name :查看app状态
4,yarn applicationattempt -list application_name : 查看app尝试信息
5,yarn classpath --glob : 打印类路径
6,yarn container -list appattempt_name : 打印正在执行任务的容器信息
yarn container -status container_name : 打印当前容器信息
7,yarn jar [mainClass] args... : 提交任务到yarn
8,yarn logs -applicationId application_name: 查看app运行日志
9,yarn node -all -list : 查看所有节点信息
10,yarn daemonlog -getlevel n0:8088 rg.apache.hadoop.yarn.server.resourcemanager.rmapp.RMAppImpl : 查看守护进程日志级别
11,yarn resourcemanager [-format-state-store] : RMStateStore的格式化. 如果过去的应用程序不再需要,则清理RMStateStore
12,Usage: yarn rmadmin
-refreshQueues 重载队列的ACL,状态和调度器特定的属性,ResourceManager将重载mapred-queues配置文件
-refreshNodes 动态刷新dfs.hosts和dfs.hosts.exclude配置,无需重启NameNode 。
dfs.hosts:列出了允许连入NameNode的datanode清单(IP或者机器名)
dfs.hosts.exclude:列出了禁止连入NameNode的datanode清单(IP或者机器名)
重新读取hosts和exclude文件,更新允许连到Namenode的或那些需要退出或入编的Datanode的集合 。
-refreshUserToGroupsMappings 刷新用户到组的映射 。
-refreshSuperUserGroupsConfiguration 刷新用户组的配置
-refreshAdminAcls 刷新ResourceManager的ACL管理
-refreshServiceAclResourceManager 重载服务级别的授权文件 。
-getGroups [username] 获取指定用户所属的组 。
-transitionToActive [–forceactive] [–forcemanual] 尝试将目标服务转为 Active 状态 。如果使用了–forceactive选项,不需要核对非Active节点 。如果采用了自动故障转移,这个命令不能使用 。虽然你可以重写–forcemanual选项,你需要谨慎 。
-transitionToStandby [–forcemanual] 将服务转为 Standby 状态. 如果采用了自动故障转移,这个命令不能使用 。虽然你可以重写–forcemanual选项,你需要谨慎 。
-failover [–forceactive] 启动从serviceId1 到 serviceId2的故障转移 。如果使用了-forceactive选项,即使服务没有准备,也会尝试故障转移到目标服务 。如果采用了自动故障转移,这个命令不能使用 。
-getServiceState 返回服务的状态 。(注:ResourceManager不是HA的时候,时不能运行该命令的)
-checkHealth 请求服务器执行健康检查,如果检查失败,RMAdmin将用一个非零标示退出 。(注:ResourceManager不是HA的时候,时不能运行该命令的)
-help [cmd]显示指定命令的帮助,如果没有指定,则显示命令的帮助 。
==========================================
yarn application
1、-list列出所有 application 信息
示例:yarnapplication -list
2、-appStates States跟 -list 一起使用,用来筛选不同状态的 application,多个用","分隔;
所有状态:ALL,NEW,NEW_SAVING,SUBMITTED,ACCEPTED,RUNNING,FINISHED,FAILED,KILLED
示例:yarnapplication -list -appStates RUNNING
3、-appTypes Types跟 -list 一起使用,用来筛选不同类型的 application,多个用","分隔;
如 MAPREDUCE
示例:yarnapplication -list -appTypes MAPREDUCE
4、-kill Application ID杀死一个 application,需要指定一个 Application ID
示例:yarnapplication -kill application_name
5、-status Application ID列出 某个application 的状态
示例:yarnapplication -status application_name
6、-movetoqueue Application ID移动 application 到其他的 queue,不能单独使用
7、-queue Queue Name与 movetoqueue 命令一起使用,指定移动到哪个 queue
示例:yarnapplication -movetoqueue application_name-queue other

yarn中文翻译 yarn

文章插图
Yarn知识 在实际系统中,资源本身是多维度的,包括CPU、内存、网络I/O和磁盘I/O等,因此,如果想精确控制资源分配,不能再有slot的概念,最直接的方法就是是让任务直接向调度器申请自己需要的资源(比如某个任务可申请1GB 内存和1个CPU),而调度器则按照任务实际需求为其精细地分配对应的资源量,不再简单的将一个Slot分配给它,Hadoop 2.0正式采用了这种基于真实资源量的资源分配方案 。

秒懂生活扩展阅读