通过 ftrace 来了解 Linux 内核内部工作方式是一个好方法。

操作系统的内核是最难以理解的软件之一。自从你的系统启动后，它会一直在后台运行。尽管每个用户都不与内核直接交互，但他们在内核的帮助下完成自己的计算任务。与内核的交互发生在调用系统调用或者用户日常使用的各种库或应用间接调用了系统调用。

在之前的文章里我介绍了如何使用 strace 来追踪系统调用。然而，使用 strace 时你的视野是有限的。它允许你查看特定参数的系统调用。并在工作完成后，看到其返回值或状态，以表明是成功还是失败。但是你无法知道内核在这段时间内发生了什么。除了系统调用外，还有很多其他活动内核中发生，而你却视而不见。

ftrace 介绍

本文的旨在通过使用一个名为 ftrace 的机制来阐明追踪内核函数的一些情况。它使得任何 Linux 用户可以轻松地追踪内核，并且了解更多关于 Linux 内核内部如何工作。

ftrace 默认产生的输出往往是巨大的，因为内核总是忙碌的。为了节省空间，很多情况下我会通过截断来给出尽量小的输出。

我使用 Fedora 来演示下面的例子，但是它们应该在其他最新的 Linux 发行版上同样可以运行。

启用 ftrace

ftrace 现在已经是内核中的一部分了，你不再需要事先安装它了。也就是说，如果你在使用最近的 Linux 系统，那么 ftrace 是已经启用了的。为了验证 ftrace 是否可用，运行 mount 命令并查找 tracefs。如果你看到类似下面的输出，表示 ftrace 已经启用，你可以轻松地尝试本文中下面的例子。下面有些命令需要在 root 用户下使用（用 sudo 执行是不够的）。

“`

mount | grep tracefs

none on /sys/kernel/tracing type tracefs (rw,relatime,seclabel)

“`

要想使用 ftrace，你首先需要进入上面 mount 命令中找到的特定目录中，在那个目录下运行文章中的其他命令。

“`

cd /sys/kernel/tracing

“`

一般的工作流程

首先，你需要理解捕捉踪迹和获取输出的一般流程。如果你直接运行 ftrace，不会运行任何特定的 ftrace 命令。相反的，基本操作是通过标准 Linux 命令来写入或读取一些文件。

一般的步骤如下：

1. 通过写入一些特定文件来启用/结束追踪
2. 通过写入一些特定文件来设置/取消追踪时的过滤规则
3. 从文件中读取基于第 1 和 2 步的追踪输出
4. 从文件中清除早期输出或缓冲区
5. 缩小到你的特定用例（你要追踪的内核函数），重复 1、2、3、4 步

可用的追踪器类型

有多种不同的追踪器可供使用。之前提到，在运行任何命令前，你需要进入一个特定的目录下，因为需要的文件在这些目录下。我在我的例子中使用了相对路径（而不是绝对路径）。

你可以查看 available_tracers 文件内容来查看所有可用的追踪器类型。你可以看下面列出了几个。不需要担心这些：

“`
$ pwd
/sys/kernel/tracing

$ sudo cat availabletracers
hwlat blk mmiotrace functiongraph wakeupdl wakeuprt wakeup function nop

“`

在所有输出的追踪器中，我会聚焦于下面三个特殊的：启用追踪的 function 和 function_graph，以及停止追踪的 nop。

确认当前的追踪器

通常情况默认的追踪器设定为 nop。即在特殊文件中 current_tracer 中的 “无操作”，这意味着追踪目前是关闭的：

“`
$ pwd
/sys/kernel/tracing

$ sudo cat current_tracer
nop

“`

查看追踪输出

在启用任何追踪功能之前，请你看一下保存追踪输出的文件。你可以用 cat 命令查看名为 trace 的文件的内容：

“`

cat trace

tracer: nop

#

entries-in-buffer/entries-written: 0/0 #P:8

#

_-=> need-resched

| / _–=> irqs-off

/ _=> hardirq/softirq

|| / _–=> preempt-depth

||| / delay

TASK-PID CPU# |||| TIMESTAMP FUNCTION

| | | |||| | |

      <idle>-0       [000] d...  2088.841739: tsc_verify_tsc_adjust <-arch_cpu_idle_enter
      <idle>-0       [000] d...  2088.841739: local_touch_nmi <-do_idle
      <idle>-0       [000] d...  2088.841740: rcu_nocb_flush_deferred_wakeup <-do_idle
      <idle>-0       [000] d...  2088.841740: tick_check_broadcast_expired <-do_idle
      <idle>-0       [000] d...  2088.841740: cpuidle_get_cpu_driver <-do_idle
      <idle>-0       [000] d...  2088.841740: cpuidle_not_available <-do_idle
      <idle>-0       [000] d...  2088.841741: cpuidle_select <-do_idle
      <idle>-0       [000] d...  2088.841741: menu_select <-do_idle
      <idle>-0       [000] d...  2088.841741: cpuidle_governor_latency_req <-menu_select

“`

请记住当追踪打开后，这意味着追踪结果会被一直连续写入直至你关闭追踪。

关闭追踪

关闭追踪是简单的。你只需要在 current_tracer 文件中用 nop 替换 function 追踪器即可：

“`
$ sudo cat current_tracer
function

$ sudo echo nop > current_tracer

$ sudo cat current_tracer
nop

“`

启用 function_graph 追踪器

现在尝试第二个名为 function_graph 的追踪器。你可以使用和上面相同的步骤：在 current_tracer 文件中写入 function_graph：

“`
$ sudo echo functiongraph > currenttracer

$ sudo cat currenttracer
functiongraph

“`

function_tracer 追踪器的追踪输出

注意到目前 trace 文件的输出格式已经发生变化。现在，你可以看到 CPU ID 和内核函数的执行时长。接下来，一个花括号表示一个函数的开始，以及它内部调用了哪些其他函数：

“`

cat trace | head -20

tracer: function_graph

#

CPU DURATION FUNCTION CALLS

| | | | | | |

6) | nttywrite() {
6) | downread() {
6) | _condresched() {
6) 0.341 us | rcuallqs();
6) 1.057 us | }
6) 1.807 us | }
6) 0.402 us | processechoes();
6) | addwaitqueue() {
6) 0.391 us | rawspinlockirqsave();
6) 0.359 us | rawspinunlockirqrestore();
6) 1.757 us | }
6) 0.350 us | ttyhungupp();
6) | mutexlock() {
6) | _condresched() {
6) 0.404 us | rcuallqs();
6) 1.067 us | }

“`

启用追踪的设置来增加追踪的深度

你可以使用下面的步骤来调整追踪器以看到更深层次的函数调用。完成之后，你可以查看 trace 文件的内容并发现输出变得更加详细了。为了文章的可读性，这个例子的输出被省略了：

“`

cat maxgraphdepth

0

echo 1 > maxgraphdepth ## or:

echo 2 > maxgraphdepth

sudo cat trace

“`

查找要追踪的函数

上面的步骤足以让你开始追踪。但是它产生的输出内容是巨大的，当你想试图找到自己感兴趣的内容时，往往会很困难。通常你更希望能够只追踪特定的函数，而忽略其他函数。但如果你不知道它们确切的名称，你怎么知道要追踪哪些进程？有一个文件可以帮助你解决这个问题 —— available_filter_functions 文件提供了一个可供追踪的函数列表：

“`
$ sudo wc -l availablefilterfunctions
63165 availablefilterfunctions

“`

查找一般的内核函数

现在试着搜索一个你所知道的简单内核函数。用户空间由 malloc 函数用来分配内存，而内核由 kmalloc 函数，它提供类似的功能。下面是所有与 kmalloc 相关的函数：

“`
$ sudo grep kmalloc availablefilterfunctions
debugkmalloc
mempoolkmalloc
kmallocslab
kmallocorder
kmallocordertrace
kmallocfixflags
kmalloclargenode
_kmalloc
_kmalloctrackcaller
_kmallocnode
_kmallocnodetrackcaller
[…]

“`

查找内核模块或者驱动相关函数

在 available_filter_functions 文件的输出中，你可以看到一些以括号内文字结尾的行，例如下面的例子中的 [kvm_intel]。这些函数与当前加载的内核模块 kvm_intel 有关。你可以运行 lsmod 命令来验证：

“`
$ sudo grep kvm availablefilterfunctions | tail
_pipostblock [kvmintel]
vmxvcpupiload [kvmintel]
vmxvcpupiput [kvmintel]
pipreblock [kvmintel]
pipostblock [kvmintel]
piwakeuphandler [kvmintel]
pihaspendinginterrupt [kvmintel]
piupdateirte [kvmintel]
vmxdumpdtsel [kvmintel]
vmxdumpsel [kvmintel]

$ lsmod | grep -i kvm
kvmintel 335872 0
kvm 987136 1 kvmintel
irqbypass 16384 1 kvm

“`

仅追踪特定的函数

为了实现对特定函数或模式的追踪，你可以利用 set_ftrace_filter 文件来指定你要追踪上述输出中的哪些函数。这个文件也接受 * 模式，它可以扩展到包括具有给定模式的其他函数。作为一个例子，我在我的机器上使用 ext4 文件系统。我可以用下面的命令指定 ext4 的特定内核函数来追踪：

“`

mount | grep home

/dev/mapper/fedora-home on /home type ext4 (rw,relatime,seclabel)

pwd

/sys/kernel/tracing

cat setftracefilter

all functions enabled

$
$ echo ext4* > setftracefilter
$
$ cat setftracefilter
ext4hasfreeclusters
ext4validateblockbitmap
ext4getgroupnumber
ext4getgroupnoandoffset
ext4getgroupdesc
[…]

“`

现在当你可以看到追踪输出时，你只能看到与内核函数有关的 ext4 函数，而你之前已经为其设置了一个过滤器。所有其他的输出都被忽略了：

“`

cat trace |head -20

tracer: function

#

entries-in-buffer/entries-written: 3871/3871 #P:8

#

_-=> need-resched

| / _

via: https://opensource.com/article/21/7/linux-kernel-ftrace

作者：Gaurav Kamathe 选题：lujun9972 译者：萌新阿岩 校对：wxy

本文由 LCTT 原创编译，Linux中国 荣誉推出