当一个container开启以后,在上面放置的task不是一下子就使用到最大内存极限的,一般会先个2个G(就是最小内存限制),如果不够了就是继续增加,直到最大内存限制,还不够就报错 。所以最大内存设置一般和整个节点的contanier可用内存设置是一样大 。
4.2. CPU资源
vcore:虚拟cpu,yarn自己引入的新概念,因为不同的物理core的性能不同,所以为了每个core的计算能力能一致点,这个时候设置了一个vcore 。一般1个物理core对应2个vcore,也有公司是1:1的 。
cpu同样也有三组参数:
yarn.nodemanager.resource.cpu-vcores
yarn.scheduler.minimum-allocation-vcores
yarn.scheduler.maximum-allocation-vcores
三组默认值分别是8,1,8 。假如物理core是8个话,要考虑究竟要个多少个core给大数据使用 。如果是给了6个core预留2个core给其他进程,这样的vcore将有12个 。
FIFO Scheduler把应用按提交的顺序排成一个队列,这是一个 先进先出队列,在进行资源分配的时候,先给队列中最头上的应用进行分配资源,待最头上的应用需求满足后再给下一个分配,以此类推 。
FIFO Scheduler是最简单也是最容易理解的调度器,也不需要任何配置,但它并不适用于共享集群 。大的应用可能会占用所有集群资源,这就导致其它应用被阻塞 。在共享集群中,更适合采用Capacity Scheduler或Fair Scheduler,这两个调度器都允许大任务和小任务在提交的同时获得一定的系统资源 。
从图中可以看出,在FIFO 调度器中,小任务会被大任务阻塞 。
而对于Capacity调度器,有一个专门的队列用来运行小任务,但是为小任务专门设置一个队列会预先占用一定的集群资源,这就导致大任务的执行时间会落后于使用FIFO调度器时的时间 。
在Fair调度器中,我们不需要预先占用一定的系统资源,Fair调度器会为所有运行的job动态的调整系统资源 。如图所示,当第一个大job提交时,只有这一个job在运行,此时它获得了所有集群资源;当第二个小任务提交后,Fair调度器会分配一半资源给这个小任务,让这两个任务公平的共享集群资源 。
需要注意的是,在图Fair调度器中,从第二个任务提交到获得资源会有一定的延迟,因为它需要等待第一个任务释放占用的Container 。小任务执行完成之后也会释放自己占用的资源,大任务又获得了全部的系统资源 。最终的效果就是Fair调度器即得到了高的资源利用率又能保证小任务及时完成 。
调度器的使用是通过yarn-site.xml配置文件中的 yarn.resourcemanager.scheduler.class 参数进行配置的,默认采用Capacity Scheduler调度器 。如果我们要使用Fair调度器,需要在这个参数上配置FairScheduler类的全限定名:org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler。
Yarn 命令总结 通过 yarn 局部卸载 xxx 包 。
注意,此时你的电脑上实际上是有 2 个 @vue/cli :
虽然可以,但是为了避免不必要的混淆和麻烦,我们可以『 将 npm 安装的 @vue/cli 卸载掉 』:
div style="display: none;"
虽然现在你的 @vue/cli 是通过 yarn 安装的small(npm 安装的那个已经被你卸载了)/small,但是 @vue/cli 『 默认使用 NPM 作为包管理器 』 。
::: tip
如何知道我的 vue-cli 是使用 NPM 作为包管理器的?
当你使用vue create xxx创建 vue 项目结束后看到如下信息,那么毫无疑问 vue-cli 使用的就是 NPM:
:::
如果有需要,你可以通过设置,去提前『 告知 』@vue/cli 创建的 vue 项目使用 Yarn 作为包管理器 。
【yarn中文翻译 yarn】 无论是通过 npm 还是通过 Yarn 全局安装 @vue/cli,@vue/cli 会在你的用户的『 家目录 』下创建一个名为.vuerc的文件small(一开始可能没有,在你第一次执行 vue create 命令后就会被 @vue/cli 创建)/small 。在 Windows 环境中,这个文件在C:\Users\用户名目录下,即,%homepath%目录 。
用编辑器打开这个文件,你会发现其内容是一个 JSON 格式数据:
很显然packageManager项就是用来设置 @vue/cli 的包管理器的,将它从 npm 改为yarn。
修改完成后,使用vue create xxx创建 vue 项目,创建过程结束后,你看到的将是:
注意,这里的设置对命令行有效,而对 IDEA『 无影响 』,因为在 IDEA 里通过 @vue/cli 创建 vue 项目,它们读取的配置文件是 IDEA 自己的配置文件,并不是这里的这个配置文件,是另外单独的配置 。
/div
yarn是什么意思yarn
[英][jɑ:n][美][jɑ:rn]
n.纱,线; (尤指)毛线; 故事; (旅行)轶事;
秒懂生活扩展阅读
- username该怎么填写 username
- electrician翻译 electrician
- accumulations翻译 accumulation
- 蚕食小说 蚕食
- domain翻译 domain
- 知之者不如好之者好之者不乐之者翻译 知之者不如好之者
- 身是菩提树是什么意思
- 牧童归去横牛背短笛无腔信口吹翻译 牧童归去横牛背
- viewpoint翻译 viewpoint
- 王非战国守圉之具其将何以当之翻译 王非