建站
咨詢
售后
建站咨詢
新聞中心
近兩年BPF技術(shù)躍然成為了一項熱門技術(shù)，在KubeCon 2020 Europe會議上有7個關(guān)于BPF的技術(shù)分享， 而在KubeCon 2020 China會議上也已有了3個關(guān)于BPF技術(shù)的中文分享，分別來自騰訊和PingCAP，涉足網(wǎng)絡(luò)優(yōu)化和系統(tǒng)追蹤等領(lǐng)域。在中文社區(qū)里，包括阿里巴巴、網(wǎng)易、字節(jié)跳動等國內(nèi)第一梯隊IT公司也越來越關(guān)注BPF這項新技術(shù)。
一、前言
作為一個coder，時不時會遇到性能問題，有時候明明看資源，cpu，io都占用不高，程序的性能就是上不去，真有一種想進(jìn)入到計算機(jī)里面看看到底發(fā)生什么的沖突;還有優(yōu)化性能的時候不知道整個系統(tǒng)的短板到底是哪一塊，如何去優(yōu)化它?
根本原因其實是對系統(tǒng)的內(nèi)核不夠了解，導(dǎo)致雖然有解決問題的激情和動力，但是總是難找到關(guān)鍵點，彷徨而不得其門。讓我學(xué)習(xí)內(nèi)核，卻又望而退步，覺得難度還是太大，有沒有不用深入了解系統(tǒng)內(nèi)核，但是又能深入觀察內(nèi)核行為的辦法那，這時候我發(fā)現(xiàn)了BPF和eBPF，通過它有了透視內(nèi)核的能力，所以就開始了BPF學(xué)習(xí)之旅。
二、BPF是個什么
BPF原來是Berkely Packet Filter(伯克利數(shù)據(jù)包過濾器)的縮寫，原來是提升pcap過濾性能的，比當(dāng)時最快的包過濾技術(shù)快20倍，只所以性能高，是因為它工作在內(nèi)核中，避免包從內(nèi)核態(tài)復(fù)制到用戶態(tài)所以速度快，后來Alexei Starovoitov 大牛在2014年重新實現(xiàn)了BPF，將其擴(kuò)展成了通用的執(zhí)行引擎，稱為eBPF，官方縮寫仍是BPF。
簡單解釋BPF作用，BPF提供了一種當(dāng)內(nèi)核或應(yīng)用特定事件發(fā)生時候，執(zhí)行一段代碼的能力。BPF 采用了虛擬機(jī)指令規(guī)范，所以也可以看一種虛擬機(jī)實現(xiàn)，使我們可以在不修改內(nèi)核源碼和重新編譯的情況下，提供一種擴(kuò)展內(nèi)核的能力的方法。
三、BPF能干嘛
BPF程序不像一般程序可以獨立運行，它是被動運行的，需要事件觸發(fā)才能運行，有點類似js里面的監(jiān)聽，監(jiān)聽到按鈕點擊執(zhí)行一小段代碼。這些事件包括系統(tǒng)調(diào)用，內(nèi)核跟蹤，內(nèi)核函數(shù)，用戶函數(shù)，網(wǎng)絡(luò)事件等。
具體能干嘛那，作用還是很強(qiáng)大,可以進(jìn)行系統(tǒng)故障診斷，因為其有透視內(nèi)核的能力;網(wǎng)絡(luò)性能優(yōu)化，因為它可以在內(nèi)核態(tài)接收網(wǎng)絡(luò)包，并做修改和轉(zhuǎn)發(fā);系統(tǒng)安全，因為它可以中斷非法連接等;性能監(jiān)控，因為其透視能力，可以查看函數(shù)耗費時間從而我們可以知道問題到底出在哪里。 如下圖：
四、BPF如何工作
經(jīng)典的BPF的工作模式是用戶使用BPF虛擬機(jī)的指令集定義過濾表達(dá)式，傳遞給內(nèi)核，由解釋器運行，使得包過濾器可以直接在內(nèi)核態(tài)工作，避免向用戶態(tài)復(fù)制數(shù)據(jù)，從而提升性能，比如tcpdump的BPF過濾指令實例如下：
[root@localhost ~]# tcpdump -d port 80
(000) ldh [12]
(001) jeq #0x86dd jt 2 jf 10
(002) ldb [20]
(003) jeq #0x84 jt 6 jf 4
(004) jeq #0x6 jt 6 jf 5
(005) jeq #0x11 jt 6 jf 23
(006) ldh [54]
(007) jeq #0x50 jt 22 jf 8
(008) ldh [56]
(009) jeq #0x50 jt 22 jf 23
(010) jeq #0x800 jt 11 jf 23
(011) ldb [23]
(012) jeq #0x84 jt 15 jf 13
(013) jeq #0x6 jt 15 jf 14
(014) jeq #0x11 jt 15 jf 23
(015) ldh [20]
(016) jset #0x1fff jt 23 jf 17
(017) ldxb 4*([14]&0xf)
(018) ldh [x + 14]
(019) jeq #0x50 jt 22 jf 20
(020) ldh [x + 16]
(021) jeq #0x50 jt 22 jf 23
(022) ret #262144
(023) ret #0
1.2.3.4.5.6.7.8.9.10.11.12.13.14.15.16.17.18.19.20.21.22.23.24.25.
執(zhí)行過程如下：
后來又一位大牛EricDumazet在2011年7月發(fā)布的Linux 3.0中增加了JIT(即時編譯)，性能比解釋執(zhí)行更快，多像java的虛擬機(jī)，可以解釋執(zhí)行也可以即時編譯執(zhí)行。
現(xiàn)在BPF的執(zhí)行過程如下示意圖：
-
編寫eBPF 代碼；
-
將eBPF代碼通過LLVM把編寫的eBPF代碼轉(zhuǎn)成字節(jié)碼；
-
通過bpf系統(tǒng)調(diào)用提交給系統(tǒng)內(nèi)核；
-
內(nèi)核通過驗證器對代碼做安全性驗證(包括對無界循環(huán)的檢查)；
-
只有校驗通過的字節(jié)碼才會提交到JIT進(jìn)行編譯成可以直接執(zhí)行的機(jī)器指令；
-
當(dāng)事件發(fā)生時候，調(diào)用這些指令執(zhí)行，將結(jié)果保存到map中；
-
用戶程序通過映射來獲取執(zhí)行結(jié)果。
五、BPF 和內(nèi)核模塊對比
BPF程序會進(jìn)行安全檢查，內(nèi)核模塊可能會引入Bug。
BPF程序不能隨意調(diào)用內(nèi)核函數(shù)，只能調(diào)用部分輔助函數(shù)。
BPF的?？臻g最大為512個字節(jié)，不能擴(kuò)大，只能借助map存儲。
BPF程序可以一次編譯到處運行，因為它依賴的輔助函數(shù)，映射表，BPF指令集屬于穩(wěn)定的API。
六、編寫B(tài)PF程序
6.1 準(zhǔn)備知識
開發(fā)BPF指令顯然不適合直接用BPF指令開發(fā)，所以大牛們開發(fā)了一些前端工具讓我們可以更方便的開發(fā)，比如我們可以通過C來編寫B(tài)PF程序，然后通過LLVM編譯成BPF。
當(dāng)然還是負(fù)載，又有了BCC和bpftrace。BCC即BPF Compiler Collection，提供了開發(fā)BPF跟蹤程序的高級框架，提供編寫內(nèi)核BPF程序的C語言環(huán)境，同時提供了許多高級語言的接口，比如pyhton等。同時BCC中提供了很多BPF工具，讓我們可以方便使用用于性能分析和故障分析，在開發(fā)BPF程序之前可以看看。
bpftrace編寫單行程序或短小腳本更加適合，BCC適合編寫復(fù)雜的腳本和作為后臺進(jìn)程使用。libbcc和libbpf為兩者提供底層支持。
BPF程序編寫可以借助工具
BCC開發(fā)的動態(tài)追蹤工具集
6.2 環(huán)境準(zhǔn)備
我的測試環(huán)境是centos8.5版本，內(nèi)核版本為4.18，而BPF最好用5.x版本的內(nèi)核需要先升級下。
[root@localhost ~]# cat /etc/centos-release
CentOS Linux release 8.5.2111
[root@localhost ~]# uname -a
Linux localhost.localdomain 4.18.0-348.7.1.el8_5.x86_64 #1 SMP Wed Dec 22 13:25:12 UTC 2021 x86_64 x86_64 x86_64 GNU/Linux
1.2.3.4.
內(nèi)核升級步驟：
#1. 到[https://www.kernel.org/](https://www.kernel.org/)查看穩(wěn)定的內(nèi)核版本為5.16.10
#2. 下載編譯
wget https://cdn.kernel.org/pub/linux/kernel/v5.x/linux-5.16.10.tar.xz
tar xvf linux-5.16.10.tar.xz
cd linux-5.16.10/
uname -a
cp /boot/config-4.18.0-348.7.1.el8_5.x86_64 .config
#注釋掉CONFIG_SYSTEM_TRUSTED_KEYS
make menuconfig
#進(jìn)入界面按tab 選擇Load 加載.config ，在Save后即可用原來配置編譯
#編譯內(nèi)核核心
make -j 4
make modules_install
#安裝內(nèi)核核心
make install
grub2-set-default 0 #0表示 /boot/grub2/grub.cfg 文件中排在第一位的 menuentry 段
reboot
make modules_prepare
make script
make headers_install INSTALL_HDR_PATH=/usr/include
#安裝bpf 實例
make M=samples/bpf
1.2.3.4.5.6.7.8.9.10.11.12.13.14.15.16.17.18.19.20.21.22.23.
安裝BPF相關(guān)庫和工具：
yum install libbpf-devel make clang llvm elfutils-libelf-devel bpftool bcc-tools bcc-devel
1.
-
llvm ： 將eBPF程序編譯成字節(jié)碼工具。
-
c代碼構(gòu)建工具make。
-
eBPF工具集BCC和它依賴的頭文件。
-
libelf庫以及ebpf管理工具ebpftool。
-
用戶程序通過BPF映射查詢到BPF字節(jié)碼的字節(jié)碼運行結(jié)果。
6.3 依賴BCC開發(fā)BPF的helloworld
步驟如下：
用C語言開發(fā)一個eBPF程序；
用LLVM把eBPF程序編譯成BPF字節(jié)碼；
通過bpf系統(tǒng)調(diào)用，把BPF字節(jié)碼提交給內(nèi)核；
內(nèi)核驗證并運行BPF字節(jié)碼，并把相應(yīng)狀態(tài)保存到BPF映射中；
用戶程序通過 BPF 映射查詢 BPF 字節(jié)碼，得到執(zhí)行結(jié)果；
這個流程一般比較麻煩，可以利用BCC來簡化，用python腳本加載BPF程序，編譯為字節(jié)碼，并通過系統(tǒng)調(diào)用將BPF字節(jié)碼，運行BPF字節(jié)碼；
6.3.1 用C開發(fā)一個eBPF程序
int hello(void *ctx)
{
bpf_trace_printk("Hello, World!");
return 0;
}
1.2.3.4.5.
bpf_trace_printk 是常用的BPF輔助函數(shù)，它就是簡單的打印一個字符串;不過eBPF輸出是內(nèi)核調(diào)試文件：
/sys/kernel/debug/tracing/trace_pipe
1.
6.3.2 使用python和BCC開發(fā)BPF的加載程序
#!/usr/bin/env python3
# 1) 導(dǎo)入BCC庫中的BPF模塊
from bcc import BPF
# 2) 加載C程序開發(fā)的BPF程序
b = BPF(src_file="hello.c")
# 3) 將此BPF程序掛載到內(nèi)核探針，其中do_sys_openat2是系統(tǒng)調(diào)用openat 在內(nèi)核實現(xiàn)
b.attach_kprobe(event="do_sys_openat2", fn_name="hello_world")
# 4) 讀取和打印 /sys/kernel/debug/tracing/trace_pipe
b.trace_print()
1.2.3.4.5.6.7.8.9.10.
運行查看：
> python3 hello.py
b' pmdalinux-1298 [007] d..31 6758.674383: bpf_trace_printk: Hello, World!'
b' pmdalinux-1298 [007] d..31 6758.674395: bpf_trace_printk: Hello, World!'
b' pmdalinux-1298 [007] d..31 6758.674410: bpf_trace_printk: Hello, World!'
b' pmdalinux-1298 [007] d..31 6758.674422: bpf_trace_printk: Hello, World!'
b' pmdalinux-1298 [007] d..31 6758.674426: bpf_trace_printk: Hello, World!'
b' python3-73326 [001] d..31 6758.674859: bpf_trace_printk: Hello, World!'
b' irqbalance-942 [006] d..31 6758.894331: bpf_trace_printk: Hello, World!'
b' irqbalance-942 [006] d..31 6758.894593: bpf_trace_printk: Hello, World!'
1.2.3.4.5.6.7.8.9.10.
問題解決
問題一：編譯過程磁盤空間滿了
按照[https://blog.csdn.net/xionglangs/article/details/108866146]擴(kuò)展磁盤；(https://blog.csdn.net/xionglangs/article/details/108866146)
1.
問題二：make -j4 編譯報錯
BTF: .tmp_vmlinux.btf: pahole (pahole) is not available
Failed to generate BTF for vmlinux
Try to disable CONFIG_DEBUG_INFO_BTF
make: *** [Makefile:1106: vmlinux] Error 1
1.2.3.4.
解決辦法： 注釋掉.config中的CONFIG_DEBUG_INFO_BTF 或 yum install dwarves
問題三：編譯需要支持bpf
編譯內(nèi)核的時候bpf的編譯選項打開，在.config文件中添加或修改
編譯內(nèi)核的時候bpf的編譯選項打開，在.config文件中添加或修改
CONFIG_CGROUP_BPF=y
CONFIG_BPF=y
CONFIG_BPF_SYSCALL=y
CONFIG_NET_SCH_INGRESS=m
CONFIG_NET_CLS_BPF=m
CONFIG_NET_CLS_ACT=y
CONFIG_BPF_JIT=y
CONFIG_LWTUNNEL_BPF=y
CONFIG_HAVE_EBPF_JIT=y
CONFIG_BPF_EVENTS=y
CONFIG_TEST_BPF=m
1.2.3.4.5.6.7.8.9.10.11.12.
問題四：make M=samples/bpf報錯
/root/core/linux-5.16.10/samples/bpf/bpftool//bootstrap/libbpf//include/bpf/bpf_helper_defs.h:322:63: error: unknown type name '__u32'
static long (*bpf_tail_call)(void *ctx, void *prog_array_map, __u32 index) = (void *) 12;
^
/root/core/linux-5.16.10/samples/bpf/bpftool//bootstrap/libbpf//include/bpf/bpf_helper_defs.h:350:58: error: unknown type name '__u32'
static long (*bpf_clone_redirect)(struct __sk_buff *skb, __u32 ifindex, __u64 flags) = (void *) 13;
^
fatal error: too many errors emitted, stopping now [-ferror-limit=]1. make M=samples/bpf報錯
/root/core/linux-5.16.10/samples/bpf/bpftool//bootstrap/libbpf//include/bpf/bpf_helper_defs.h:322:63: error: unknown type name '__u32'
static long (*bpf_tail_call)(void *ctx, void *prog_array_map, __u32 index) = (void *) 12;
^
/root/core/linux-5.16.10/samples/bpf/bpftool//bootstrap/libbpf//include/bpf/bpf_helper_defs.h:350:58: error: unknown type name '__u32'
static long (*bpf_clone_redirect)(struct __sk_buff *skb, __u32 ifindex, __u64 flags) = (void *) 13;
^
fatal error: too many errors emitted, stopping now [-ferror-limit=]
1.2.3.4.5.6.7.8.9.10.11.12.13.14.
解決辦法：
vim /root/core/linux-5.16.10/samples/bpf/bpftool//bootstrap/libbpf//include/bpf/bpf_helper_defs.h
添加頭文件：
#include
#include
1.2.3.4.
問題五：failed to load BTF from /root/core/linux-5.16.10/vmlinux: No such file or directory
Error: failed to load BTF from /root/core/linux-5.16.10/vmlinux: No such file or directory
make[2]: *** [Makefile:179：/root/core/linux-5.16.10/samples/bpf/bpftool/vmlinux.h] 錯誤 2
make[1]: *** [samples/bpf/Makefile:296：/root/core/linux-5.16.10/samples/bpf/bpftool/bpftool] 錯誤 2
make: *** [Makefile:1846：samples/bpf] 錯誤 2
[root@localhost linux-5.16.10]#
1.2.3.4.5.
更改.config 配置：
CONFIG_DEBUG_INFO_BTF=y
make -j4
1.2.
問題六：fatal error: ‘gnu/stubs-32.h’ file not found
make[2]: ***
[Makefile:179：/root/core/linux-5.16.10/samples/bpf/bpftool/vmlinux.h] 錯誤 2
make[1]: ***
[samples/bpf/Makefile:296：/root/core/linux-5.16.10/samples/bpf/bpftool/bpftool]
錯誤 2
make: *** [Makefile:1846：samples/bpf] 錯誤 2
分享文章：非常神器的Linux技術(shù)：BPF
URL分享：http://m.fisionsoft.com.cn/article/cddgipd.html
