Docker中的cgroup怎么用

# Docker中的cgroup怎么用

## 1. 什么是cgroup？

### 1.1 cgroup基本概念
控制组（Control Groups，简称cgroup）是Linux内核提供的一种机制，用于限制、记录和隔离进程组（process groups）所使用的物理资源（如CPU、内存、磁盘I/O、网络等）。cgroup的主要功能包括：

- **资源限制**：可以配置cgroup来限制进程组使用的资源量
- **优先级分配**：可以分配不同的CPU时间、磁盘I/O吞吐量等
- **资源统计**：可以测量系统资源的使用量
- **进程控制**：可以冻结cgroup中的进程或检查点并重启

### 1.2 cgroup版本发展
Linux cgroup经历了两个主要版本：

1. **cgroup v1**：最初的实现，功能分散在多个子系统中
2. **cgroup v2**：统一层次结构设计，简化了管理，提供了更一致的资源控制

Docker默认使用cgroup v1，但在较新的Linux发行版中可以配置使用cgroup v2。

## 2. Docker与cgroup的关系

### 2.1 Docker资源隔离机制
Docker利用Linux内核的多种特性来实现容器隔离，其中cgroup负责资源隔离和限制。每个Docker容器在运行时都会自动创建自己的cgroup，容器内的所有进程都会加入该cgroup。

### 2.2 Docker默认创建的cgroup
当启动一个容器时，Docker会在各个子系统下为容器创建cgroup。例如：

/sys/fs/cgroup/cpu/docker/<容器ID> /sys/fs/cgroup/memory/docker/<容器ID> /sys/fs/cgroup/blkio/docker/<容器ID>

## 3. 使用cgroup限制Docker容器资源

### 3.1 CPU限制

#### 3.1.1 通过Docker命令限制CPU
```bash
# 限制容器最多使用50%的单个CPU
docker run -it --cpus="0.5" ubuntu /bin/bash

# 设置CPU份额（相对权重）
docker run -it --cpu-shares=512 ubuntu /bin/bash

# 绑定到特定CPU核心
docker run -it --cpuset-cpus="0,1" ubuntu /bin/bash

3.1.2 直接操作cgroup文件

# 查看容器的CPU cgroup
cat /sys/fs/cgroup/cpu/docker/<容器ID>/cpu.cfs_quota_us
cat /sys/fs/cgroup/cpu/docker/<容器ID>/cpu.cfs_period_us

# 手动设置CPU限制
echo 50000 | sudo tee /sys/fs/cgroup/cpu/docker/<容器ID>/cpu.cfs_quota_us

3.2 内存限制

3.2.1 通过Docker命令限制内存

# 限制容器内存使用为100MB
docker run -it -m 100m --memory-swap=100m ubuntu /bin/bash

# 设置内存软限制
docker run -it -m 100m --memory-reservation=50m ubuntu /bin/bash

# 禁用OOM Killer
docker run -it -m 100m --oom-kill-disable ubuntu /bin/bash

3.2.2 直接操作cgroup文件

# 查看内存限制
cat /sys/fs/cgroup/memory/docker/<容器ID>/memory.limit_in_bytes

# 设置内存限制
echo 100000000 | sudo tee /sys/fs/cgroup/memory/docker/<容器ID>/memory.limit_in_bytes

3.3 磁盘I/O限制

3.3.1 通过Docker命令限制I/O

# 限制读写速率
docker run -it --device-read-bps /dev/sda:1mb --device-write-bps /dev/sda:1mb ubuntu /bin/bash

# 设置I/O权重
docker run -it --blkio-weight=100 ubuntu /bin/bash

3.3.2 直接操作cgroup文件

# 查看I/O限制
cat /sys/fs/cgroup/blkio/docker/<容器ID>/blkio.throttle.read_bps_device

# 设置读速率限制
echo "8:0 1048576" | sudo tee /sys/fs/cgroup/blkio/docker/<容器ID>/blkio.throttle.read_bps_device

4. 高级cgroup配置

4.1 自定义cgroup层次结构

可以创建自定义的cgroup层次结构，然后将Docker容器放入特定的cgroup中：

# 创建新的cgroup层次结构
sudo mkdir -p /sys/fs/cgroup/cpu/mygroup

# 设置CPU限制
echo 100000 | sudo tee /sys/fs/cgroup/cpu/mygroup/cpu.cfs_quota_us

# 运行容器并放入自定义cgroup
docker run -it --cgroup-parent=/mygroup ubuntu /bin/bash

4.2 使用systemd与cgroup v2

在较新的系统上，可以使用systemd来管理cgroup v2：

# 创建systemd范围
systemd-run --scope -p CPUQuota=50% -p MemoryMax=100M docker run -it ubuntu /bin/bash

4.3 监控cgroup资源使用

# 使用cgget查看cgroup配置
cgget -g cpu:/docker/<容器ID>

# 使用systemd-cgtop监控资源使用
systemd-cgtop

# 使用docker stats
docker stats <容器ID>

5. cgroup最佳实践

5.1 生产环境中的建议

1. 合理设置限制：不要过度限制导致应用性能下降
2. 监控资源使用：定期检查容器资源使用情况
3. 考虑应用特性：CPU密集型、内存密集型和I/O密集型应用需要不同的配置
4. 测试限制效果：在生产前充分测试资源限制的影响

5.2 常见问题解决

1. 容器被OOM Killer终止：适当增加内存限制或优化应用内存使用
2. 应用响应变慢：检查CPU限制是否过严
3. 磁盘I/O性能差：调整I/O权重或限制

5.3 安全注意事项

1. 避免将cgroup目录暴露给不受信任的用户
2. 定期审计cgroup配置
3. 使用命名空间隔离cgroup

6. cgroup v2与Docker

6.1 cgroup v2的新特性

1. 统一层次结构设计
2. 改进的内存管理
3. 增强的IO和CPU控制
4. 更好的容器支持

6.2 启用cgroup v2

# 修改内核启动参数
GRUB_CMDLINE_LINUX="systemd.unified_cgroup_hierarchy=1"

# 更新grub并重启
sudo update-grub
sudo reboot

6.3 Docker与cgroup v2的兼容性

较新版本的Docker（20.10+）支持cgroup v2，但需要注意： - 某些功能可能与cgroup v1不同 - 需要检查所有使用的工具是否兼容v2 - 部分旧版应用可能需要调整

7. 实际案例

7.1 多租户环境资源隔离

在共享主机上运行多个租户的容器时，可以使用cgroup确保公平的资源分配：

# 为每个租户创建cgroup
sudo mkdir -p /sys/fs/cgroup/cpu/tenant_a
sudo mkdir -p /sys/fs/cgroup/cpu/tenant_b

# 设置不同的CPU份额
echo 512 | sudo tee /sys/fs/cgroup/cpu/tenant_a/cpu.shares
echo 256 | sudo tee /sys/fs/cgroup/cpu/tenant_b/cpu.shares

# 运行容器时指定cgroup
docker run -itd --cgroup-parent=/tenant_a --name tenant_a_app nginx
docker run -itd --cgroup-parent=/tenant_b --name tenant_b_app nginx

7.2 关键业务应用保障

确保关键应用获得足够的资源：

# 创建高优先级cgroup
sudo mkdir -p /sys/fs/cgroup/cpu/high_priority

# 设置CPU份额和核心绑定
echo 1024 | sudo tee /sys/fs/cgroup/cpu/high_priority/cpu.shares
echo "0-1" | sudo tee /sys/fs/cgroup/cpuset/high_priority/cpuset.cpus

# 运行关键应用容器
docker run -itd --cgroup-parent=/high_priority --name critical_app nginx

8. 总结

cgroup是Docker资源管理的核心技术，通过合理配置cgroup可以实现： - 精确的资源分配和控制 - 多租户环境下的公平共享 - 关键应用的性能保障 - 系统资源的有效利用

掌握cgroup的使用方法对于Docker管理员和DevOps工程师至关重要，能够帮助构建更稳定、高效的容器化环境。

附录：常用cgroup文件参考

子系统	关键文件	描述
cpu	cpu.shares	CPU相对权重
	cpu.cfs_period_us	CPU周期长度（微秒）
	cpu.cfs_quota_us	CPU周期内可用的时间量
memory	memory.limit_in_bytes	内存限制
	memory.usage_in_bytes	当前内存使用量
blkio	blkio.throttle.read_bps_device	读速率限制
	blkio.throttle.write_bps_device	写速率限制
cpuset	cpuset.cpus	可用的CPU核心
	cpuset.mems	可用的内存节点

”`

这篇文章总计约4650字，全面介绍了Docker中cgroup的使用方法，包括基本概念、实际操作命令、高级配置和最佳实践等内容。文章采用Markdown格式，包含标题、代码块、表格等元素，便于阅读和理解。