本篇介绍
本篇介绍一些bpf 工具,主要是bpftool和bpftrace,通过这两个工具可以不需要用bcc写代码,直接就可以获取trace信息。
bpftool
bpftool是一个查看bpf程序和maps的工具,默认是没有安装的,可以收到手动安装下,安装成功后就可以先看下版本号:
shanks@shanks-ThinkPad-T460s:~/Documents/01code/ebpf/chapter04$ sudo bpftool --version
bpftool v7.4.0
using libbpf v1.4
features:
可以看下bpftool支持的feature, 会看到列出一长串,部分feature如下:
shanks@shanks-ThinkPad-T460s:~/Documents/01code/ebpf/chapter04$ sudo bpftool feature |more
Scanning system configuration...
bpf() syscall restricted to privileged users (admin can change)
JIT compiler is enabled
JIT compiler hardening is disabled
JIT compiler kallsyms exports are enabled for root
Global memory limit for JIT compiler for unprivileged users is 528482304 bytes
CONFIG_BPF is set to y
CONFIG_BPF_SYSCALL is set to y
CONFIG_HAVE_EBPF_JIT is set to y
CONFIG_BPF_JIT is set to y
CONFIG_BPF_JIT_ALWAYS_ON is set to y
CONFIG_DEBUG_INFO_BTF is set to y
CONFIG_DEBUG_INFO_BTF_MODULES is set to y
CONFIG_CGROUPS is set to y
CONFIG_CGROUP_BPF is set to y
CONFIG_CGROUP_NET_CLASSID is set to y
CONFIG_SOCK_CGROUP_DATA is set to y
CONFIG_BPF_EVENTS is set to y
CONFIG_KPROBE_EVENTS is set to y
CONFIG_UPROBE_EVENTS is set to y
CONFIG_TRACING is set to y
可以先查看下系统中已经加载的bpf程序:
shanks@shanks-ThinkPad-T460s:~/Documents/01code/ebpf/chapter04$ sudo bpftool prog show
2: tracing name hid_tail_call tag 7cc47bbf07148bfe gpl
loaded_at 2024-09-16T10:09:42+0800 uid 0
xlated 56B jited 121B memlock 4096B map_ids 2
btf_id 2
49: cgroup_device tag 03b4eaae2f14641a gpl
loaded_at 2024-09-16T10:09:49+0800 uid 0
xlated 296B jited 163B memlock 4096B map_ids 3
61: cgroup_device tag 03b4eaae2f14641a gpl
loaded_at 2024-09-16T10:10:49+0800 uid 1000
xlated 296B jited 163B memlock 4096B map_ids 5
62: cgroup_device tag 03b4eaae2f14641a gpl
loaded_at 2024-09-16T10:10:49+0800 uid 1000
xlated 296B jited 163B memlock 4096B map_ids 4
最前面的是bpf程序的标识符,通过标识符就可以查看单个bpf程序的信息:
shanks@shanks-ThinkPad-T460s:~/Documents/01code/ebpf/chapter04$ sudo bpftool prog show id 355 --j
{"id":355,"type":"cgroup_skb","name":"sd_fw_ingress","tag":"6deef7357e7b4530","gpl_compatible":true,"loaded_at":1726575306,"uid":0,"orphaned":false,"bytes_xlated":64,"jited":true,"bytes_jited":55,"bytes_memlock":4096}
也可以查看bpf程序对应的字节码指令:
shanks@shanks-ThinkPad-T460s:~/Documents/01code/ebpf/chapter04$ sudo bpftool prog dump xlated id 355
0: (bf) r6 = r1
1: (69) r7 = *(u16 *)(r6 +180)
2: (b4) w8 = 0
3: (44) w8 |= 2
4: (b7) r0 = 1
5: (55) if r8 != 0x2 goto pc+1
6: (b7) r0 = 0
7: (95) exit
也可以加载bpf程序:
bpftool prog load bpf_prog.o /sys/fs/bpf/bpf_prog
这样就可以通过show看到加载的bpf程序了,这块我们在第一篇中也有使用过。
利用bpftool也可以查看map信息:
shanks@shanks-ThinkPad-T460s:~/Documents/01code/ebpf/chapter04$ sudo bpftool map show
2: prog_array name hid_jmp_table flags 0x0
key 4B value 4B max_entries 1024 memlock 8512B
owner_prog_type tracing owner jited
3: hash flags 0x0
key 9B value 1B max_entries 500 memlock 45536B
4: hash flags 0x0
key 9B value 1B max_entries 500 memlock 45536B
5: hash flags 0x0
key 9B value 1B max_entries 500 memlock 45536B
6: hash flags 0x0
key 9B value 1B max_entries 500 memlock 45536B
前面的序列号可以与加载的bpf程序对上,也可以查看单独的map,操作方法和前面的程序方法一样。
利用bpftool 也可以直接创建map,方法和用程序类似,也需要提供map类型,key,value大小,数量,名字,接下来看一个例子:
bpftool map create /sys/fs/bpf/counter type array key 4 value 4 entries 5 name counter
这样就可以看到该map了:
shanks@shanks-ThinkPad-T460s:~/Documents/01code/ebpf/chapter04$ sudo bpftool map show
2: prog_array name hid_jmp_table flags 0x0
key 4B value 4B max_entries 1024 memlock 8512B
owner_prog_type tracing owner jited
3: hash flags 0x0
key 9B value 1B max_entries 500 memlock 45536B
4: hash flags 0x0
key 9B value 1B max_entries 500 memlock 45536B
5: hash flags 0x0
key 9B value 1B max_entries 500 memlock 45536B
6: hash flags 0x0
key 9B value 1B max_entries 500 memlock 45536B
89: array name counter flags 0x0
key 4B value 4B max_entries 5 memlock 360B
也可以看到对应的文件节点:
root@shanks-ThinkPad-T460s:/sys/fs/bpf# ls -al
total 0
drwx-----T 3 root root 0 9月 21 16:44 .
drwxr-xr-x 8 root root 0 9月 16 10:09 ..
-rw------- 1 root root 0 9月 21 16:44 counter
drwx------ 2 root root 0 9月 16 12:00 snap
接下来用命令就可以更新map:
sudo bpftool map update id 89 key 1 0 0 0 value 1 0 0 0
key和value后每一个数值代表一个字节,由于我们前面指定的是4字节,所以需要写4个数字,接下来就可以dump map的内容了:
shanks@shanks-ThinkPad-T460s:~/Documents/01code/ebpf/chapter04$ sudo bpftool map dump id 89
key: 00 00 00 00 value: 00 00 00 00
key: 01 00 00 00 value: 01 00 00 00
key: 02 00 00 00 value: 00 00 00 00
key: 03 00 00 00 value: 00 00 00 00
key: 04 00 00 00 value: 00 00 00 00
Found 5 elements
bpftool 也支持让bpf程序加载指定的map,用来替换程序中要加载的map,对应的指令如下:
bpftool prog load bpf_prog.o /sys/fs/bpf/bpf_prog_2 \
map name counter /sys/fs/bpf/counter
这样就是用/sys/fs/bpf/counter 替换 bpf_prog 中名字是counter的map.
bpftool 也可以查看attach到指定interface上的程序,比如cgroups,net,perf.
比如查看attach到kprobe,uprobe,tracepoint的perf接口程序方法如下:
bpftool perf show
而利用net子命令就可以查看attach到xdp和流量控制上的程序:
shanks@shanks-ThinkPad-T460s:~/Documents/01code/ebpf/chapter04$ sudo bpftool net show
xdp:
tc:
flow_dissector:
netfilter:
cgroup子命令就可以查看attach到对应cgroup上的程序,由于cgroup也是层次结构,所以需要指定对应cgroup的指令,如果需要看所有的,就加一个tree:
shanks@shanks-ThinkPad-T460s:~/Documents/01code/ebpf/chapter04$ sudo bpftool cgroup tree show
CgroupPath
ID AttachType AttachFlags Name
Error: can't iterate over show: No such file or directory
bpftool 也有batch模式,支持把bpftool指令写到一个文件中,让bpftool 来统一执行。
比如新建一个batch文件:
shanks@shanks-ThinkPad-T460s:~/Documents/01code/ebpf/chapter04$ cat batch.txt
# show all map
map show
# show all programs
prog show
用如下命令就可以执行:
bpftool batch file batch.txt
如果中途有指令失败了,就会退出,此时系统的状态就保持最后一条成功的指令对应的地方。类似于bash脚本。
bpftool 也可以查看btf(BPF Type Format)信息,这个信息类似于elf的dwarf信息,通过如下命令就可以查看:
sudo bpftool btf show |more
1: name [vmlinux] size 6060041B
2: name <anon> size 1162B prog_ids 2
3: name [wmi] size 2840B
5: name [platform_profile] size 795B
6: name [xhci_pci_renesas] size 500B
7: name [ledtrig_audio] size 455B
8: name [nvme_auth] size 1894B
9: name [xhci_pci] size 639B
10: name [nvme_core] size 51323B
11: name [rtsx_pci] size 11910B
我们可以看下vmlinux的信息:
shanks@shanks-ThinkPad-T460s:~/Documents/01code/ebpf/chapter04$ sudo bpftool btf dump id 1 |more
[1] INT 'long unsigned int' size=8 bits_offset=0 nr_bits=64 encoding=(none)
[2] PTR '(anon)' type_id=5
[3] CONST '(anon)' type_id=2
[4] INT 'char' size=1 bits_offset=0 nr_bits=8 encoding=(none)
[5] CONST '(anon)' type_id=4
[6] INT 'unsigned int' size=4 bits_offset=0 nr_bits=32 encoding=(none)
[7] INT 'signed char' size=1 bits_offset=0 nr_bits=8 encoding=SIGNED
[8] TYPEDEF '__u8' type_id=9
[9] INT 'unsigned char' size=1 bits_offset=0 nr_bits=8 encoding=(none)
[10] INT 'short int' size=2 bits_offset=0 nr_bits=16 encoding=SIGNED
[11] TYPEDEF '__u16' type_id=12
[12] INT 'short unsigned int' size=2 bits_offset=0 nr_bits=16 encoding=(none)
[13] INT 'int' size=4 bits_offset=0 nr_bits=32 encoding=SIGNED
[14] TYPEDEF '__u32' type_id=6
[15] TYPEDEF '__s64' type_id=16
[16] INT 'long long int' size=8 bits_offset=0 nr_bits=64 encoding=SIGNED
[17] TYPEDEF '__u64' type_id=18
bpftrace
bpftrace 是一直专门为bpf服务的高级tracing语言,支持用简洁的DSL写bpf程序,这样就不需要继续用BCC写代码了,直接用DSL就行
bpftrace 的语法包含header, action blocks,footer,header是在加载bpf程序时执行的,footer是在终止bpf程序前执行的,这两个都是可选的。 action blocks是必选的,用来指定目标kprobe与对应的操作,可以看一个例子:
BEGIN
{
printf("starting bpftrace program\n")
}
kprobe:do_sys_openat2
{
printf("opening file descriptor: %s\n", str(arg1))
}
END
{
printf("exiting bpfrace program\n")
}
保存为trace.bt文件,使用bpftrace trace.bt即可执行。
也可以不写脚本,直接用命令行执行,如下所示:
bpftrace -e "kprobe:do_sys_open { @opens[str(arg1)] = count() }"
bpftrace 也支持filter功能,这样就可以专门选择需要的数据了,格式是写到反斜线之间,格式如下:
kprobe:do_sys_openat2 /str(arg1) == "/tmp/example.bt"/
{
printf("opening file descriptor: %s\n", str(arg1))
}
bpftrace也可以使用动态map,这样就可以做一些统计的逻辑,如同我们前面提到的一段代码:
bpftrace -e "kprobe:do_sys_open { @opens[str(arg1)] = count() }"
这儿的opens就是map名字,@表示后面是map名字,后面的count就是负责计数,这样就可以统计某个文件对应的打开次数。