http://xiezhenye.com/2013/10/%E7%94%A8-cgroups-%E7%AE%A1%E7%90%86%E8%BF%9B%E7%A8%8B%E7%A3%81%E7%9B%98-io.html


 


##
cgroups管理进程io资源

跑一个耗io的脚本



ddif=/dev/sda of=/dev/null &

    通过iotop看io占用情况,磁盘速度到了284M/s

<div style="color: rgb(0, 0, 0); font-family: &quot;Courier New&quot; !important; font-size: 13.33px; font-style: normal; font-weight: normal; background-color: rgb(245, 245, 245);">
    <pre style="font-family: &quot;Courier New&quot; !important; font-size: 12px !important; font-style: normal; background-color: inherit;">

30252 be/4 root 284.71 M/s 0.00 B/s 0.00 % 0.00 % ddif=/dev/sda of=/dev/null

    下面用cgroups控制这个进程的io资源

<div style="color: rgb(0, 0, 0); font-family: &quot;Courier New&quot; !important; font-size: 13.33px; font-style: normal; font-weight: normal; background-color: rgb(245, 245, 245);">
    <pre style="font-family: &quot;Courier New&quot; !important; font-size: 12px !important; font-style: normal; background-color: inherit;">

mkdir -p /cgroup/blkio/foo

echo'8:0 1048576' > /cgroup/blkio/foo/blkio.throttle.read_bps_device

#8:0对应主设备号和副设备号,可以通过ls -l /dev/sda查看
echo30252 > /cgroup/blkio/foo/tasks

    再通过iotop看,确实将读速度降到了1M/s

<div style="color: rgb(0, 0, 0); font-family: &quot;Courier New&quot; !important; font-size: 13.33px; font-style: normal; font-weight: normal; background-color: rgb(245, 245, 245);">
    <pre style="font-family: &quot;Courier New&quot; !important; font-size: 12px !important; font-style: normal; background-color: inherit;">

30252 be/4 root 993.36 K/s 0.00 B/s 0.00 % 0.00 % ddif=/dev/sda of=/dev/null

    对于io还有很多其他可以控制层面和方式,如下

<div style="color: rgb(0, 0, 0); font-family: &quot;Courier New&quot; !important; font-size: 13.33px; font-style: normal; font-weight: normal; background-color: rgb(245, 245, 245);">
    <pre style="font-family: &quot;Courier New&quot; !important; font-size: 12px !important; font-style: normal; background-color: inherit;">

[root@localhost ~]# ls /cgroup/blkio/foo/
blkio.io_merged blkio.io_serviced blkio.reset_stats
blkio.throttle.io_serviced blkio.throttle.write_bps_device blkio.weight cgroup.procs
blkio.io_queued blkio.io_service_time blkio.sectors
blkio.throttle.read_bps_device blkio.throttle.write_iops_device blkio.weight_device notify_on_release
blkio.io_service_bytes blkio.io_wait_time blkio.throttle.io_service_bytes
blkio.throttle.read_iops_device blkio.
time cgroup.event_control tasks



 


linux 的 cgroups 还可以限制和监控进程的磁盘 io。这个功能通过 blkio 子系统实现。

blkio 子系统里东西很多。不过大部分都是只读的状态报告,可写的参数就只有下面这几个:


blkio.throttle.read_bps_device
blkio.throttle.read_iops_device
blkio.throttle.write_bps_device
blkio.throttle.write_iops_device
blkio.weight
blkio.weight_device


这些都是用来控制进程的磁盘 io 的。很明显地分成两类,其中带“throttle”的,顾名思义就是节流阀,将流量限制在某个值下。而“weight”就是分配 io 的权重。

“throttle”的那四个参数看名字就知道是做什么用的。拿 blkio.throttle.read_bps_device 来限制每秒能读取的字节数。先跑点 io 出来


dd if=/dev/sda of=/dev/null &
[1] 2750


用 iotop 看看目前的 io


TID PRIO USER DISK READ DISK WRITE SWAPIN IO> COMMAND
2750 be/4 root 66.76 M/s 0.00 B/s 0.00 % 68.53 % dd if=/dev/sda of=/dev/null



然后修改一下资源限制,把进程加入控制组


echo '8:0 1048576' >/sys/fs/cgroup/blkio/foo/blkio.throttle.read_bps_device
echo 2750 >/sys/fs/cgroup/blkio/foo/tasks


这里的 8:0 就是对应块设备的主设备号和副设备号。可以通过 ls -l 设备文件名查看。如


# ls -l /dev/sda
brw-rw—-. 1 root disk 8, 0 Oct 24 11:27 /dev/sda


这里的 8, 0 就是对应的设备号。所以,cgroups 可以对不同的设备做不同的限制。然后来看看效果


TID PRIO USER DISK READ DISK WRITE SWAPIN IO> COMMAND
2750 be/4 root 989.17 K/s 0.00 B/s 0.00 % 96.22 % dd if=/dev/sda of=/dev/null



可见,进程的每秒读取立马就降到了 1MB 左右。要解除限制,写入如 “8:0 0” 到文件中即可

对写入的限制也类似。只是测试的时候要注意,dd 需要加上 oflag=sync,避免文件系统缓存影响。如


dd if=/dev/zero of=/data/test.dat oflag=sync


还有别犯傻把 of 输出直接写设备文件 :-)

不过需要注意的是,这种方式对小于采样间隔里产生的大量 io 是没用的。比如,就算在 1s 内产生一个每秒写入 100M 的峰值,也不会因此被限制掉。

再看看 blkio.weight 。blkio 的 throttle 和 weight 方式和 cpu 子系统的 quota 和 shares 有点像,都是一种是绝对限制,另一种是相对限制,并且在不繁忙的时候可以充分利用资源,权重值的范围在 10 – 1000 之间。

测试权重方式要麻烦一点。因为不是绝对限制,所以会受到文件系统缓存的影响。如在虚拟机中测试,要关闭虚机如我用的 VirtualBox 在宿主机上的缓存。如要测试读 io 的效果,先生成两个几个 G 的大文件 /tmp/file_1,/tmp/file_2 ,可以用 dd 搞。然后设置两个权重


# echo 500 >/sys/fs/cgroup/blkio/foo/blkio.weight
# echo 100 >/sys/fs/cgroup/blkio/bar/blkio.weight


测试前清空文件系统缓存,以免干扰测试结果


sync
echo 3 >/proc/sys/vm/drop_caches


在这两个控制组中用 dd 产生 io 测试效果。


# cgexec -g "blkio:foo" dd if=/tmp/file_1 of=/dev/null &
[1] 1838
# cgexec -g "blkio:bar" dd if=/tmp/file_2 of=/dev/null &
[2] 1839


还是用 iotop 看看效果


TID PRIO USER DISK READ DISK WRITE SWAPIN IO> COMMAND
1839 be/4 root 48.14 M/s 0.00 B/s 0.00 % 99.21 % dd if=/tmp/file_2 of=/dev/null
1838 be/4 root 223.59 M/s 0.00 B/s 0.00 % 16.44 % dd if=/tmp/file_1 of=/dev/null


两个进程每秒读的字节数虽然会不断变动,但是大致趋势还是维持在 1:5 左右,和设定的 weight 比例一致。blkio.weight_device 是分设备的。写入时,前面再加上设备号即可。

blkio 子系统里还有很多统计项



blkio.time


​​​各​​​设​​​备​​​的​​​ io 访​​​问​​​时​​​间,单位毫秒


blkio.sectors


换入​​​者​​​或​​​出​​​各​​​设​​​备​​​的​​​扇​​​区​​​数


blkio.io_serviced


各设​​​备​​​中​​​执​​​行​​​的各类型​​​ io 操​​​作​​​数,分read、​​​write、​​​sync、async 和 total​​​


blkio.io_service_bytes


各类型​​​ io ​​​换入​​​者​​​或​​​出​​​各​​​设​​​备​​​​​​的​​​字​​​节​​​数​​​


blkio.io_service_time


各设​​​备​​​中​​​执​​​行​​​的各类型​​​ io 时间,单位微秒​​​


blkio.io_wait_time


各设​​​备​​​中各类型​​​ io 在队列中的 等待时间​​​


blkio.io_merged


各设​​​备​​​中各类型​​​ io 请求合并的次数​​​


blkio.io_queued


各设​​​备​​​中各类型​​​ io 请求当前在队列中的数量​​​



通过这些统计项更好地统计、监控进程的 io 情况




echo 1 >blkio.reset_stats


可以将所有统计项清零。