Cgroup 是 Control Groups 的缩写，是 Linux 内核提供的一种可以限制、记录、隔离进程组 (processgroups) 所使用的物力资源 (如 cpu memory i/o 等等) 的机制。2007 年进入 Linux 2.6.24内核，CGroups 不是全新创造的，它将进程管理从 cpuset 中剥离出来，作者是 Google 的 PaulMenage。CGroups 也是 LXC 为实现虚拟化所使用的资源管理手段。

一：CGroup描述

1.1：CGroup 支持的文件种类

文件名	R/W	用途
Release_agent	RW	删除分组时执行的命令，这个文件只存在于根分组
Notify_on_release	RW	设置是否执行 release_agent。为 1 时执行
Tasks	RW	属于分组的线程 TID 列表
Cgroup.procs	R	属于分组的进程 PID 列表。仅包括多线程进程的线程 leader 的 TID，这点与 tasks 不同
Cgroup.event_control	RW	监视状态变化和分组删除事件的配置文件

如图所示的 CGroup 层级关系显示，CPU 和 Memory 两个子系统有自己独立的层级系统，而又通过 Task Group 取得关联关系。

• 每次在系统中创建新层级时，该系统中的所有任务都是那个层级的默认 cgroup（我们称之为 root cgroup，此 cgroup
  在创建层级时自动创建，后面在该层级中创建的 cgroup 都是此 cgroup 的后代）的初始成员；
• 一个子系统最多只能附加到一个层级；
• 一个层级可以附加多个子系统；
• 一个任务可以是多个 cgroup 的成员，但是这些 cgroup 必须在不同的层级；
• 系统中的进程（任务）创建子进程（任务）时，该子任务自动成为其父进程所在 cgroup 的成员。然后可根据需要将该子任务移动到不同的cgroup 中，但开始时它总是继承其父任务的 cgroup。

1.2：CGroup的术语

task：任务就是系统的一个进程
control group：控制族群就是按照某种标准划分的进程。Cgroups 中的资源控制都是以控制族群为单位实现。一个进程可以加入到某个控制族群，也从一个进程组迁移到另一个控制族群。一个进程组的进程可以使用 cgroups 以控制族群为单位分配的资源，同时受到 cgroups 以控制族群为单位设定的限制；
hierarchy：控制族群可以组织成 hierarchical 的形式，既一颗控制族群树。控制族群树上的子节点控制族群是父节点控制族群的孩子，继承父控制族群的特定的属性；
subsystem：一个子系统就是一个资源控制器，比如 cpu 子系统就是控制 cpu 时间分配的一个控制器。子系统必须附加（attach）到一个层级上才能起作用，一个子系统附加到某个层级以后，这个层级上的所有控制族群都受到这个子系统的控制。

1.3：CGroup 特点

在 cgroups 中，任务就是系统的一个进程。

控制族群（control group）。控制族群就是一组按照某种标准划分的进程。Cgroups
中的资源控制都是以控制族群为单位实现。一个进程可以加入到某个控制族群，也从一个进程组迁移到另一个控制族群。一个进程组的进程可以使用
cgroups 以控制族群为单位分配的资源，同时受到 cgroups 以控制族群为单位设定的限制。

层级（hierarchy）。控制族群可以组织成 hierarchical
的形式，既一颗控制族群树。控制族群树上的子节点控制族群是父节点控制族群的孩子，继承父控制族群的特定的属性。

子系统（subsytem）。一个子系统就是一个资源控制器，比如 cpu 子系统就是控制 cpu
时间分配的一个控制器。子系统必须附加（attach）到一个层级上才能起作用，一个子系统附加到某个层级以后，这个层级上的所有控制族群都受到这个子系统的控制。

1.4：子系统的介绍

CPU:使用调度程序为cgroup任务提供 CPU 的访问。
cpuacct:产生cgroup任务的 CPU 资源报告。
cpuset：如果是多核心的CPU,这个子系统会为cgroup任务分配单的CPU和内存。
devices:允许或拒绝cgroup任务对设备的访问。
freezer:暂停和恢复cgroup任务。
memory:设置每个cgroup 的内存限制以及产生内存资源报告。
net_cls:标记每个网络包以供 cgroup方便使用。
ns:命名空间子系统。
perf event:增加了对每个group的监测跟踪的能力，可以监测属于某个特定的group 的所有线程以及运行在特定CPU上的线程。:

二：使用stress工具压测CPU和内存

• 使用Dockerfile来创建一个基于Centos的stress工具镜像

[root@server1 ~]# iptables -F
[root@server1 ~]# setenforce 0
[root@server1 ~]# mkdir /opt/stress

[root@server1 ~]#  vim /opt/stress/Dockerfile

FROM centos:7
MAINTAINER chen "qyf@tom.com"
RUN yum install -y wget
RUN wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo
RUN yum install -y stress

• 新建镜像

[root@server1 ~]# cd /opt/stress/
[root@server1 stress]# docker build -t centos:stress .

三：创建容器的CPU权重控制

• 默认情况下，每个docker容器的cpu份额都是1024，单独一个容器的份额是没有意义的，只有在同时运行多个容器时，容器cpu的加权效果才能体现出现。
• 例如，两个容器A、B的cpu份额分别为1000和500，在cpu进行时间片分配的时候，容器A比容器B多一倍的机会获得cpu的时间片，但是分配的结果取决于当时主机和其他容器的运行状态，实际上也无法保证容器A一定能够获得cpu的时间片。比如容器A的进程一直是空闲的，那么容器B是可以获取比容器A更多的cpu时间片的，极端情况下，例如主机上只运行的一个容器，即使它的cpu份额只有50，它也可以独占整个主机的cpu资源
• cgroups只在容器分配的资源紧缺时，即需要对容器使用的资源进行限制时，才会生效。因此，无法单纯的根据某个容器的份额的cpu份额来确定有多少cpu资源分配给它，可以通过cpu
  share参数可以设置容器使用cpu的优先级，比如启动了两个容器及运行查看cpu的cpu的使用百分比

创建两个容器，分别制定不同的权重比

// --cpu-shares 指定使用cpu的权重
// stress -c 指定产生子进程的个数
[root@server1 ~]# docker run -itd --name cpu512 --cpu-shares 512 centos:stress stress -c 10
[root@server1 ~]# docker run -itd --name cpu1024 --cpu-shares 1024 centos:stress stress -c 10

[root@server1 ~]# docker ps -a    #查看容器
CONTAINER ID        IMAGE               COMMAND             CREATED             STATUS              PORTS               NAMES
f68bc1d06b72        centos:stress       "stress -c 10"      10 seconds ago      Up 8 seconds                            cpu1024
ab0e0020144b        centos:stress       "stress -c 10"      6 minutes ago       Up 6 minutes                            cpu512

##进入容器使用top命令查看cpu的使用率
[root@server1 ~]# docker exec -it cpu512 bash
[root@b2881c350a86 /]# top

[root@7bdbe657efea /]# top
[root@server1 ~]# docker exec -it cpu512 bash[root@server1 ~]# docker exec -it cpu1024 bash

分别进入cpu512和cpu1024之后可以看到，%cpu的比例差不多是1：2，符合我们设置的–cpu-shares参数。

四：cpu周期限制

• Docker提供了 --cpu-period、–cpu-quota两个参数控制容器可以分配到cpu的时钟周期。

# --cpu-period是用来指定容器对于cpu的使用要在多长时间内重新分配一次
# --cpu-quota是用来指定在这个周期内，最多可以有多少时间跑这个容器，
# 与--cpu-shares（权重）不同的是，这种配置指定一个绝对值，容器对cpu资源使用绝对不会超过配置的值。

• cpu-peiod和cpu-quota参数一般联合使用。 例如：容器进程需要每一秒钟使用单个cpu的0.2时间，可以将
  –cpu-period设置为1000000（1秒），–cpu-quota设置为200000（0.2秒）。
• 当然，在多核情况下，如果允许容器进程完全占用两个cpu，则可以将cpu-period设置为100000（0.1秒），cpu-quota设置为200000（0.2秒）

[root@server1 ~]# docker run -tid --cpu-period 100000 --cpu-quota 200000 centos:stress
51a7437828779adc04515710495964b9272c41064565b3a2773e0fbd0265d8e3

[root@server1 ~]# docker ps -a
CONTAINER ID        IMAGE               COMMAND             CREATED             STATUS              PORTS               NAMES
51a743782877        centos:stress       "/bin/bash"         11 seconds ago      Up 10 seconds                           admiring_williams

[root@server1 ~]# docker exec -it 51a743782877 bash

#查看容器cgroup参数
[root@51a743782877 /]# cat /sys/fs/cgroup/cpu/cpu.cfs_period_us
100000


[root@51a743782877 /]# cat /sys/fs/cgroup/cpu/cpu.cfs_quota_us
200000

五：cpu core控制

对于多核cpu的服务器，docker还可以控制容器运行使用那些cpu内核，以及使用–cpuset-cpus参数，这对于具有多cpu服务器尤其有用，可以对需要高性能计算的容器进行性能最优的配置。

#执行以下命令需要宿主机为双核，表示创建的容器只能使用0、1两个内核，最终生成cgroup的cpu内核配置如下：
[root@server1 ~]# docker run -itd --name cpu1 --cpuset-cpus 0-1 centos:stress 
212f9575b047e40d0523fa3d347e110498e13870ee32fd505a09e9fa2a7eddf8

[root@server1 ~]# docker ps -a
CONTAINER ID        IMAGE               COMMAND             CREATED             STATUS              PORTS               NAMES
212f9575b047        centos:stress       "/bin/bash"         11 seconds ago      Up 10 seconds                           cpu1

[root@server1 ~]# docker exec -it cpu1 bash

[root@212f9575b047 /]# cat /sys/fs/cgroup/cpuset/cpuset.cpus
0-1

#通过下列指令可以看到容器中进程与cpu内核的绑定关系，达到绑定cpu内核的目的
[root@server1 ~]# docker run -itd --name cpu2 --cpuset-cpus 2-5 centos:stress 
[root@server1 ~]# docker exec -it e9b4115aa238 taskset -c -p 1
#容器内部的第一个进程号pid为1，被绑定到指定到的cpu上运行   
pid 1's current affinity list: 2-5

六：cpu配额控制参数的混合使用

• 通过cpuset-cpus参数指定容器A使用cpu内核0，容器B使用cpu内核1。
  在主机上只有这个两个容器使用对应的cpu内核情况，它们各自占用全部的内核资源，cpu-shares没有明显的效果。
• cpuset-cpus、cpuset-mems参数只在多核、内存节点上服务器有效，并且必须与实际的物理配置匹配，否则也无法达到资源控制的目的。
• 在系统具有多个cpu内核的情况下，需要通过cpuset-cpus参数为设置容器cpu内核才能方便进行测试

#宿主机系统修改为4核心
[root@server1 stress]# docker run -tid --name cpu3 --cpuset-cpus 1 --cpu-shares 512 centos:stress stress -c 1

[root@server1 stress]# docker run -tid --name cpu4 --cpuset-cpus 3 --cpu-shares 1024 centos:stress stress -c 1


 ##分别进入cpu2和cpu3查看cpu使用率，有下面数据可知，cpu1和3使用率达到了100%，权重对它们没有影响
[root@master ~]# docker exec -it cpu2 bash
[root@be8bf29e69a8 /]# top

七：内存限制

与操作系统类似，容器可使用的内存包括两部分：物理内存和swap
容器通过 -m或–memory设置内存的使用限额，例如：-m 300M；通过–memory-swap设置内存+swap的使用限额

实例如下，允许容器最多使用200M的内存和300M的swap

[root@server1 stress]# docker run -it -m 200M --memory-swap=300M progrium/stress --vm 1 --vm-bytes 250M
#--vm 1 ，代表启动一个内存工作线程
#--vm-bytes 280 M ，代表每个线程可以分配250M内存

注：如果分配的内存超过限额，stress线程就会报错，容器会自动退出

八：Block IO的限制

默认情况下，所有容器平等地读写磁盘，可以通过设置–blkio-weight参数来改变容器block IO的优先级。

[root@server1 stress]# docker run -it --name container_A --blkio-weight 600 centos:stress
[root@c7363c15fe8f /]# cat /sys/fs/cgroup/blkio/blkio.weight
600    #权重600
[root@c7363c15fe8f /]# exit
exit
[root@server1 stress]# docker run -it --name container_B --blkio-weight 300 centos:stress
[root@74daf8433aaa /]# cat /sys/fs/cgroup/blkio/blkio.weight
300    #权重300

九：bps和iops 的限制

bps是byte per second，每秒读写的数据量。iops是io per second, 每秒IO的次数。
可通过以下参数控制容器的bps和iops:

--device-read-bps：限制读某个设备的bps.
--device-write-bps：限制写某个设备的bps.
--device-read-iops：限制读某个设备的iops.
--device-write-iops：限制写某个设备的iops。

下面的示例是限制容器写/dev/sda 的速率为5 MB/s

[root@server1 stress]# docker run -it --device-write-bps /dev/sda:5MB centos:stress 
[root@d46afe8e8aa4 /]# dd if=/dev/zero of=test bs=1M count=1024 oflag=direct 
#按ctrl+c中断查看 

#为了对比，我们不限速测试，如下
[root@e75e0bc7cdc6 /]# dd if=/dev/zero of=test bs=1M count=1024 oflag=direct
1024+0 records in
1024+0 records out
1073741824 bytes (1.1 GB) copied, 1.59137 s, 675 MB/s

在多个容器运行时，需要使用上述的参数进行优化，不能让一个容器占用所有的资源，避免资源浪费，容器不稳定。