Docker——Cgroup资源限制

一、Cgroup

（1）Docker通过 Cgroup 来控制容器使用的资源配额，包括 CPU、内存、磁盘三大方面，基本覆盖了常见的资源配额和使用量控制。

（2）Cgroup 是 Linux 内核提供的一种可以限制、记录、隔离进程组所使用的物理资源的机制。

Cgroup 子系统：

1、blkio：设置限制每个块设备的输入输出控制；
2、cpu：使用调度程序为 cgroup 任务提供 cpu 的访问；
3、cpuacct：产生 cgroup 任务的 cpu 资源报告；
4、cpuset：如果是多核心的 cpu，这个子系统会为 cgroup 任务分配单独的 cpu 和内存；
5、devices：允许或拒绝 cgroup 任务对设备的访问；
6、freezer：暂停和恢复 cgroup 任务；
7、memory：设置每个 cgroup 的内存限制以及产生内存资源报告；
8、net_cls：标记每个网络包以供 cgroup 方便使用；
9、ns：命名空间子系统；
10、perf_event：增加了对每个 cgroup 的监测跟踪能力，可以监测属于某个特定的 cgroup 的所有线程及运行在特定 CPU 上的线程。

二、使用 stress 工具测试 CPU 和内存

首先使用 Dockerfile 来创建一个基于 Centos 的 stress 的工具镜像：

[root@localhost ~]# mkdir /opt/stress
[root@localhost ~]# cd /opt/stress/

[root@localhost stress]# vim Dockerfile
FROM centos:7
RUN yum install -y wget
RUN wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo
RUN yum install -y stress

[root@localhost stress]# docker build -t centos:stress .    //创建镜像

（1）使用如下命令创建容器，命令中的 --cpu-shares 参数值不能保证可以获得 1 个 vcpu 或者多少 GHz 的CPU 资源，它仅是一个弹性的加权值。

[root@localhost stress]# docker run -itd --cpu-shares 100 centos:stress
08a203033c051098fd6294cd8ba4e2fa8baa18cefb793c6c4cd655c0f28cabc0

注意：默认情况下，每个 Docker 容器的CPU的份额都是1024，单独一个容器的份额是没有意义的。只有在同时运行多个容器时，容器的 CPU 加权的效果才能体现出来。
例如，两个容器 A、B 的CPU份额分别是 1000 和 500 ，在 CPU 进行时间片分配的时候，容器A比容器B多一倍的机会获得 CPU 的时间片。但分配的结果取决于当时主机和其他容器的运行状态，实际上也无法保证容器 A 一定能获得CPU 时间片。比如容器 A 的进程一直是空闲的，那么容器 B 是可以获取比容器 A 更多的 CPU 时间片。极端情况下，例如主机上只运行了一个容器，即使它的 CPU 份额只有 50，它也可以独占整个主机的 CPU 资源。

比如：Cgroup 只在容器分配的资源紧缺时，即在需要对容器使用的资源进行限制时，才会生效。因此，无法单纯根据某个容器的 CPU 份额来确定有多少 CPU 资源分配给它，资源分配结果取决于同时运行的其他容器的 CPU 分配和容器中进程运行情况。可以通过 cpu share 可以设置容器使用 CPU 的优先级。

比如，启动了两个容器及运行查看 CPU 使用百分比：
1、

//容器产生10个子函数进程：
[root@localhost stress]# docker run -itd --name cpu512 --cpu-shares 512 centos:stress stress -c 10
99086cce962308fdb5417df189571e39f375ab2c067887cbac48e773225f25c7

//进入容器再使用top命令查看cpu使用情况：
[root@localhost stress]# docker exec -it 99086cce9623 bash
[root@99086cce9623 /]# top
.. ..
.. ..
.. ..
.. ..
按 q 退出，
[root@99086cce9623 /]# exit        //退出整个容器

2、此时，我们可以再开启另外一个容器做比较：

[root@localhost stress]# docker run -itd --name cpu1024 --cpu-shares 1024 centos:stress stress -c 10
81e29988fce779c6b3e10fb8570ae2358db4090e1987202bb7919260287eca66

[root@localhost stress]# docker exec -it 81e29988fce7 bash
[root@81e29988fce7 /]# top
..
..
..

通过进入容器，观察两个容器的 %CPU，可以发现比例是 1:2

三、CPU 周期限制：

Docker 提供了 --cpu-period、–cpu-quota 两个参数控制容器可以分配到的 CPU 时钟周期。

–cpu-period ：是用来指定容器对 CPU 的使用要在多长时间内做一次重新分配。
–cpu-quota ：是用来指定在这个周期内，最多可以有多少时间用来跑这个容器。
与 --cpu-shares 不同的是。这种配置是指定一个绝对值，容器对 CPU 资源的使用绝对不会超过配置的值。
注意：
cpu-period 和 cpu-quota 的单位是微秒；
cpu-period 的最小值是1000微秒，最大值为1秒，默认值为0.1秒。
cpu-quota 的值默认是 -1 ，表示不做控制；
cpu-period 和 cpu-quota 参数一般联合使用。

例如：
容器进程需要每一秒使用单个 CPU 的0.2秒时间，可以将 cpu-period 设置为 1000000（即1秒），cpu-quota 设置为 200000（0.2秒），当然，在多核情况下，如果允许容器进程完全占有两个 CPU，则可以将 cpu-period 设置为 100000（即0.1秒），cpu-quota 设置为 200000（0.2秒）。

[root@localhost stress]# docker run -itd --cpu-period 100000 --cpu-quota 200000 centos:stress
3f2a577cf6a281347338cbf9734440b3b8a29e771dc4890a9f243eb0773f6c09

[root@localhost stress]# docker exec -it 3f2a577cf6a2 bash

[root@3f2a577cf6a2 /]# cat /sys/fs/cgroup/cpu/cpu.cfs_period_us 
100000
[root@3f2a577cf6a2 /]# cat /sys/fs/cgroup/cpu/cpu.cfs_quota_us  
200000

四、CPU Core 控制：

对于多核 CPU 的服务器，Docker 还可以控制容器运行使用哪些 CPU 内核，即使用 --cpuset-cpus 参数。这对具有多 CPU 的服务器尤其有用，可以对需要高性能计算的容器进行性能最优配置。

[root@localhost ~]# docker run -itd --name cpu02 --cpuset-cpus=0-2 centos:stress
76994f5d310de48ee635f69270f7c9b4cba1e65aad935ff1e0d6e098441104eb
//执行该命令（需要宿主机为四核），表示创建的容器只能使用0、1、2 三个内核。 

[root@localhost ~]# docker exec -it 76994f5d310d bash    //进入容器
[root@76994f5d310d /]# cat /sys/fs/cgroup/cpuset/cpuset.cpus
0-2

通过下面指令可以看到容器中进程与 CPU 内核的绑定关系，达到 CPU 内核的目的：

[root@localhost ~]# docker exec 76994f5d310d taskset -c -p 1
pid 1's current affinity list: 0-2
//容器内部第一个进程号 pid为1，被绑定到指定CPU上运行。

五、CPU 配额控制参数的混合使用：

通过 cpuset-cpus 参数指定容器 A 使用 CPU 内核 0，容器B 只是用 CPU 内核1；在主机上只有这两个容器使用对应 CPU 内核的情况，它们各自占有全部的内核资源，cpu-shares 没有明显效果。cpuset-cpus、cpuset-mems 参数只在多核、多内存节点上的服务器上有效，并且必须与实际的物理配置匹配，否则也无法达到资源控制的目的。在系统具有多个 CPU 内核的情况下，需要通过 cpuset-cpus 参数为设置容器 CPU 内核才能方便地进行测试。

[root@localhost ~]# docker run -itd --name cpu3 --cpuset-cpus 1 --cpu-shares 512 centos:stress stress -c 1
d6e122af832297a05b6993ea3146a2a62969557989933ac9f1bf59f2a1de5c50

[root@localhost ~]# docker exec -it d6e122af8322 bash
[root@d6e122af8322 /]# top  //top查看后，按1可以看到每个核心的占用情况

我们再创建一个容器：

[root@localhost ~]# docker run -itd --name cpu4 --cpuset-cpus 3 --cpu-shares 1024 centos:stress stress -c 1
d375a1ba761a711d55a01d95c7a5d494e62f86d447d36422be666cacf6483ca1

[root@localhost ~]# docker exec -it d375a1ba761a bash
[root@d375a1ba761a /]# top

六、内存限额：

与操作系统类似，容器可使用的内存包括两部分：物理内存 和 Swap；

docker 通过下面两组参数来控制容器内存的使用量：

-m 或 --memory：设置内存的使用限额，例如 100M、1024M；
–memory-swap：设置内存 +swap 的使用限额。
例如：执行如下命令允许该容器最多使用 200M的内存，300M 的swap：

[root@localhost ~]# docker run -it -m 200M --memory-swap=300M progrium/stress --vm 1 --vm-bytes 280M
// --vm 1：启动1个内存工作线程；
   --vm-bytes 280M ：每个线程分配280M内存；

如果让工作线程分配的内存超过 300M，分配的内存超过限额，stress线程报错，容器退出：
[root@localhost ~]# docker run -it -m 200M --memory-swap=300M progrium/stress --vm 1 --vm-bytes 310M

七：Block IO 的限制：

默认情况下，所有容器能平等地读写磁盘，可以通过设置 --blkio-weight 参数来改变容器 block IO 的优先级。

–blkio-weight 与 --cpu-shares 类似，设置的是相对权重值，默认为500
在下面的例子中，容器 A 读写磁盘的带宽是容器 B 的两倍：

[root@localhost ~]# docker run -it --name container_A --blkio-weight 600 centos:stress
[root@0f9b8d716206 /]# cat /sys/fs/cgroup/blkio/blkio.weight

[root@localhost ~]# docker run -it --name container_B --blkio-weight 300 centos:stress
[root@55bdce1cab5d /]# cat /sys/fs/cgroup/blkio/blkio.weight

八、bps 和 iops 的限制：

（1）bps ：是 byte per second，每秒读写的数据量；

（2）iops ：是 io per second，每秒 IO 的次数；

（3）可以通过以下的参数来控制 bps 和 iops：

–device-read-bps：限制读某个设备的 bps；
device-write-bps：限制写某个设备的 bps；
device-read-iops：限制读某个设备的 iops；
device-write-iops：限制写某个设备的 iops。
例如：

限制容器 写 /dev/sda 磁盘的速率为 5MB/s：

[root@localhost ~]# docker run -it --device-write-bps /dev/sda:5MB centos:stress