eBPF.io eBPF文档：扩展的数据包过滤器（BPF）

2020-10-10 09:28:57 361 收藏 1
分类专栏： 【计算机网络】
原文链接：https://ebpf.io/what-is-ebpf/
版权

  

目录

什么是eBPF？

安全

跟踪和分析

联网

可观察性与监控

什么是eBPF.io？

eBPF简介

挂钩概述

eBPF程序如何编写？

加载程序和验证架构

地图

辅助呼叫

尾部和函数调用

eBPF安全

为什么选择eBPF？

可编程的力量

eBPF对Linux内核的影响

开发工具链

密件抄送

bpftrace

eBPF Go库

libbpf C / C ++库

进一步阅读

文献资料

讲解

会谈

图书

文章和博客

特色eBPF博客

 

什么是eBPF？

https://ebpf.io/what-is-ebpf/

Linux内核一直是实现监视/可观察性，网络和安全性的理想场所。不幸的是，这通常是不切实际的，因为它需要更改内核源代码或加载内核模块，并导致彼此堆叠的抽象层。eBPF是一项革命性的技术，可以在Linux内核中运行沙盒程序，而无需更改内核源代码或加载内核模块。通过使Linux内核可编程，基础架构软件可以利用现有的层，使其更加智能和功能丰富，而无需继续为系统增加额外的复杂性。

eBPF导致在网络，安全性，应用程序性能分析/性能跟踪和性能故障排除等领域开发了新一代的工具，这些工具不再依赖现有的内核功能，而是在不影响执行效率或安全性的情况下主动重新编程运行时行为。

 

安全

https://ebpf.io/

在看到和理解所有系统调用并将其与所有网络操作的数据包和套接字级别视图相结合的基础上，可以采用革命性的新方法来保护系统。尽管系统调用筛选，网络级筛选和流程上下文跟踪的各个方面通常由完全独立的系统处理，但eBPF允许将各个方面的可见性和控制相结合，以创建在更多上下文和更好控制级别上运行的安全系统。

 

跟踪和分析

https://ebpf.io/

将eBPF程序附加到跟踪点以及内核和用户应用程序探测点的能力，使人们对应用程序和系统本身的运行时行为具有空前的可见性。通过为应用程序端和系统端提供自省功能，可以将两种视图组合在一起，从而提供强大而独特的见解来对系统性能问题进行故障排除。先进的统计数据结构允许以有效的方式提取有意义的可见性数据，而无需像通常由类似系统完成的那样导出大量采样数据。

 

联网

https://ebpf.io/

可编程性和效率的结合使eBPF自然满足网络解决方案的所有分组处理需求。eBPF的可编程性使您能够添加其他协议解析器，并轻松对任何转发逻辑进行编程以满足不断变化的需求，而无需离开Linux内核的数据包处理上下文。JIT编译器提供的效率提供了与本机编译的内核内代码接近的执行性能。

 

可观察性与监控

https://ebpf.io/

eBPF不再依赖于操作系统公开的静态计数器和计量器，而是启用了自定义指标的收集和内核聚合以及基于各种可能来源的可见性事件的生成。通过仅收集所需的可见性数据并通过在事件源处生成直方图和类似的数据结构，而不是依赖于样本的导出，这扩展了可以实现的可见性深度，并显着减少了整个系统的开销。

 

什么是eBPF.io？

https://ebpf.io/

eBPF.io是每个人都可以在eBPF主题上进行学习和协作的地方。eBPF是一个开放社区，每个人都可以参与和共享。无论您是想阅读eBPF的入门指南，查找更多的阅读材料，还是迈出成为主要eBPF项目贡献者的第一步，eBPF.io都会为您提供帮助。

eBPF简介

以下各章是对eBPF的快速介绍。如果您想了解有关eBPF的更多信息，请参阅《eBPF和XDP参考指南》。无论您是要构建eBPF程序的开发人员，还是对利用eBPF的解决方案感兴趣的人员，了解基本概念和体系结构都是很有用的。

挂钩概述

eBPF程序是事件驱动的，并在内核或应用程序通过某个挂钩点时运行。预定义的挂钩包括系统调用，函数进入/退出，内核跟踪点，网络事件以及其他几个。

如果针对特定需要不存在预定义的挂钩，则可以创建内核探针（kprobe）或用户探针（uprobe），以将eBPF程序附加到内核或用户应用程序中的几乎任何位置。

eBPF程序如何编写？

在很多情况下，不是直接使用eBPF，而是通过Cilium，bcc或bpftrace等项目间接使用eBPF，这些项目在eBPF之上提供了抽象，并且不需要直接编写程序，而是提供了指定基于意图的定义的功能，然后使用eBPF实施。

如果不存在更高级别的抽象，则需要直接编写程序。Linux内核希望eBPF程序以字节码的形式加载。虽然当然可以直接编写字节码，但更常见的开发实践是利用LLVM等编译器套件将伪C代码编译为eBPF字节码。

 

加载程序和验证架构

确定了所需的钩子后，可以使用bpf系统调用将eBPF程序加载到Linux内核中。通常使用可用的eBPF库之一完成此操作。下一节将介绍可用的开发工具链。

当程序被加载到Linux内核中时，在连接到请求的钩子之前，它需要经过两个步骤：

1.验证

验证步骤可确保eBPF程序安全运行。它验证程序是否满足几个条件，例如：

  • 加载eBPF程序的过程包含所需的功能（特权）。除非启用了非特权eBPF，否则只有特权进程才能加载eBPF程序。
  • 该程序不会崩溃或以其他方式损害系统。
  • 程序始终运行到完成状态（即程序不会永远处于循环状态，从而阻止了进一步的处理）。

2.JIT编译

即时（JIT）编译步骤将程序的通用字节码转换为特定于机器的指令集，以优化程序的执行速度。这使得eBPF程序的运行效率与本地编译的内核代码或作为内核模块加载的代码一样有效。

 

地图

eBPF程序的重要方面是共享收集的信息和存储状态的能力。为此，eBPF程序可以利用eBPF映射的概念来存储和检索各种数据结构中的数据。可以通过系统调用从eBPF程序以及用户空间中的应用程序访问eBPF映射。

以下是不完整的受支持地图类型列表，以帮助您理解数据结构的多样性。对于各种映射类型，可以使用共享版本和每个CPU版本。

  • 哈希表，数组
  • LRU（最近最少使用）
  • 环形缓冲区
  • 堆栈跟踪
  • LPM（最长前缀匹配）
  • ...

 

辅助呼叫

eBPF程序无法调用任意内核功能。允许这样做会将eBPF程序绑定到特定的内核版本，并使程序的兼容性复杂化。相反，eBPF程序可以将函数调用到辅助函数中，该函数是内核提供的众所周知且稳定的API。

可用的帮助程序调用集在不断发展。可用的帮助程序调用的示例：

  • 产生随机数
  • 获取当前时间和日期
  • eBPF地图访问
  • 获取进程/ cgroup上下文
  • 处理网络数据包和转发逻辑

 

尾部和函数调用

eBPF程序可与尾部和函数调用的概念组合。函数调用允许在eBPF程序中定义和调用函数。尾部调用可以调用并执行另一个eBPF程序并替换执行上下文，类似于execve（）系统调用对常规进程的操作方式。

eBPF安全

有了强大的力量，就还必须承担巨大的责任。

eBPF是一项非常强大的技术，现在运行在许多关键软件基础架构组件的核心。在eBPF的开发过程中，考虑将eBPF包含在Linux内核中时，eBPF的安全性是最关键的方面。eBPF安全性可通过以下几层来确保：

所需特权

除非启用了非特权eBPF，否则所有打算将eBPF程序加载到Linux内核中的进程都必须在特权模式（root）下运行，或者需要功能CAP_BPF。这意味着不受信任的程序无法加载eBPF程序。

如果启用了非特权eBPF，则非特权进程可以加载某些eBPF程序，但这些程序的功能集有所减少，并且对内核的访问受到限制。

验证者

如果允许进程加载eBPF程序，则所有程序仍将通过eBPF验证程序。eBPF验证程序可确保程序本身的安全。例如，这意味着：

  • 程序经过验证以确保它们始终运行到完成状态，例如，eBPF程序可能永远不会阻塞或永远处于循环中。eBPF程序可能包含所谓的有界循环，但是只有在验证者可以确保该循环包含一定可以保证为真的退出条件的情况下，程序才被接受。
  • 程序不得使用任何未初始化的变量或超出范围访问内存。
  • 程序必须符合系统的大小要求。无法加载任意大的eBPF程序。
  • 程序必须具有有限的复杂性。验证者将评估所有可能的执行路径，并且必须能够在配置的复杂度上限内来完成分析。

硬化

成功完成验证后，eBPF程序将根据是从特权进程还是非特权进程加载的程序来执行强化过程。此步骤包括：

  • 程序执行保护：存放eBPF程序的内核内存受到保护，并变为只读状态。如果由于某种原因（无论是内核错误还是恶意操纵）而试图修改eBPF程序，则内核将崩溃，而不是允许其继续执行损坏/操纵的程序。
  • 缓解Spectre的风险：在推测下，CPU可能会错误预测分支，并留下可通过副通道提取的可观察到的副作用。仅举几个例子：eBPF程序屏蔽了内存访问，以便在瞬态指令下将访问重定向到受控区域，验证程序还遵循仅在推测执行下可访问的程序路径，并且在无法将尾调用转换为直接调用的情况下，JIT编译器会发出Retpolines。
  • 常量盲：对代码中的所有常量都盲，以防止JIT喷射攻击。这样可以防止攻击者将可执行代码作为常量注入，而该常量在存在另一个内核错误的情况下，可能使攻击者跳入eBPF程序的内存部分以执行代码。

抽象的运行时上下文

eBPF程序无法直接访问任意内核内存。必须通过eBPF帮助器访问对程序上下文之外的数据和数据结构的访问。这保证了一致的数据访问，并使任何此类访问均受eBPF程序的特权约束，例如，如果可以保证修改的安全性，允许运行的eBPF程序修改某些数据结构的数据。eBPF程序不能随机修改内核中的数据结构。

 

为什么选择eBPF？

可编程的力量

让我们从一个类比开始。你还记得地理城吗？20年前，网页几乎完全是用静态标记语言（HTML）编写的。网页基本上是一个文档，其中包含能够显示它的应用程序（浏览器）。纵观当今的网页，网页已成为功能完善的应用程序，基于Web的技术已取代了以需要编译的语言编写的绝大多数应用程序。是什么促成了这一发展？

简短的答案是通过引入JavaScript来实现可编程性。它开启了一场巨大的革命，导致浏览器发展成为几乎独立的操作系统。

进化为什么发生？程序员不再局限于运行特定浏览器版本的用户。代替说服标准机构需要新的HTML标签，必需的构建块的可用性使底层浏览器的创新速度与运行在顶部的应用程序脱钩。当然，这有点过分简单了，因为HTML确实随着时间的推移而发展并为成功做出了贡献，但是HTML本身的发展还不够。

在采用此示例并将其应用于eBPF之前，让我们看一下对JavaScript引入至关重要的几个关键方面：

  • 安全性：不受信任的代码在用户的浏览器中运行。这可以通过对JavaScript程序进行沙盒处理和抽象化对浏览器数据的访问来解决。
  • 持续交付：程序逻辑的发展必须是可能的，而无需不断交付新的浏览器版本。通过提供足以构建任意逻辑的正确的低级构建模块，可以解决此问题。
  • 性能：必须以最小的开销提供可编程性。通过引入即时（JIT）编译器解决了这一问题。

对于上述所有原因，出于相同的原因，可以在eBPF中找到确切的计数器零件。

 

eBPF对Linux内核的影响

现在让我们回到eBPF。为了了解eBPF对Linux内核的可编程性影响，有助于对Linux内核的体系结构以及它与应用程序和硬件的交互方式有一个较高的了解。

Linux内核的主要目的是抽象硬件或虚拟硬件，并提​​供一致的API（系统调用），允许应用程序运行和共享资源。为了实现这一目标，维护了广泛的子系统和层集来分配这些职责。每个子系统通常允许进行某种程度的配置，以解决用户的不同需求。如果无法配置所需的行为，则历史上需要更改内核，剩下两个选择：

本机支持

  1. 更改内核源代码，并说服Linux内核社区需要进行更改。
  2. 请等待几年，以使新的内核版本成为商品。

内核模块

  1. 编写内核模块
  2. 定期修复它，因为每个内核版本都可能破坏它
  3. 由于缺乏安全性边界，可能会损坏Linux内核

使用eBPF，可以使用一个新选项，该选项允许重新编程Linux内核的行为，而无需更改内核源代码或加载内核模块。在许多方面，这与JavaScript和其他脚本语言如何解锁已变得难以更改或代价昂贵的系统演变非常相似。

 

开发工具链

存在一些开发工具链来协助eBPF程序的开发和管理。它们都满足用户的不同需求：

密件抄送

BCC是一个框架，使用户可以使用内置的eBPF程序编写python程序。该框架主要针对涉及应用程序和系统分析/跟踪的用例，其中使用eBPF程序收集统计信息或生成事件，而用户空间中的对等方收集数据并以人类可读的形式显示。运行python程序将生成eBPF字节码并将其加载到内核中。

 

bpftrace

bpftrace是Linux eBPF的高级跟踪语言，在最新的Linux内核（4.x）中可用。bpftrace使用LLVM作为后端将脚本编译为eBPF字节码，并利用BCC与Linux eBPF子系统以及现有的Linux跟踪功能进行交互：内核动态跟踪（kprobes），用户级动态跟踪（uprobes）和跟踪点。bpftrace语言受awk，C和先前的跟踪器（例如DTrace和SystemTap）的启发。

 

eBPF Go库

eBPF Go库提供了一个通用的eBPF库，该库将获取eBPF字节码的过程与eBPF程序的加载和管理解耦。通常通过编写高级语言来创建eBPF程序，然后使用clang / LLVM编译器将其编译为eBPF字节码。

eBPF导致了新一代软件的开发，该软件能够对Linux内核的行为进行重新编程，甚至可以跨传统上完全独立的多个子系统应用逻辑。https://ebpf.io/

 

libbpf C / C ++库

https://github.com/libbpf/libbpf

libbpf库是基于C / C ++的通用eBPF库，它通过将易于使用的库API用于应用程序。

进一步阅读

如果您想了解有关eBPF的更多信息，请继续使用以下其他材料进行阅读：

文献资料

讲解

会谈

泛型

Cilium

哈勃

图书

文章和博客

 

特色eBPF博客

https://ebpf.io/

 

要了解有关eBPF及其用例的更多信息：

 

源码地址：https://github.com/libbpf/libbpf

 

已标记关键词 清除标记
了解IO Visor的技术基石BPF与eBPF (by quqi99)
技术并艺术着
11-13 5322
作者：张华  发表于：2015-11-13版权声明：可以任意转载，转载时请务必以超链接形式标明文章原始出处和作者信息及本版权声明(http://blog.csdn.net/quqi99 )程序员所接触的应用项目大都是基于流式套接字（SOCK_STREAM)和数据报式套接字(SOCK_DGRAM)。原始套接字IPPROTO_RAW允许用户旁路TCP/IP栈实现IP层及其以上协议层的通信；PF_PAC
表情包
插入表情
还能输入1000个字符
相关推荐
深入理解 BPF：一个阅读清单 | Linux 中国
技术无边
04-03 8924
我收集了非常多的关于 BPF 的阅读材料：介绍、文档，也有教程或者示例。这里有很多的材料可以去阅读-- Quentin Monnet有用的原文链接请访问文末的“原文链接”获得可点击的文内链接、全尺寸原图和相关文章。致谢编译自　|　https://qmonnet.github.io/whirl-offload/2016/09/01/dive-into-bpf/ 　作者　|　Quentin Monne
【BPF入门系列-1】eBPF 技术简介
dwh0403的专栏
12-01 233
eBPF 技术简介 由范老师和我一起翻译的图书 《Linux内核观测技术BPF》 已经在 JD 上有现货，欢迎感兴趣 BPF 技术的同学选购。链接地址https://item.jd.com/72110825905.html “eBPF 是我见过的 Linux 中最神奇的技术，没有之一，已成为 Linux 内核中顶级子模块，从 tcpdump 中用作网络包过滤的经典 cbpf，到成为通用 Linux 内核技术的 eBPF，已经完成华丽蜕变，为应用与神奇的内核打造了一座桥梁，在系统跟踪、观测、性能调优.
介绍Calico eBPF数据平面：Linux内核网络、安全性和跟踪（Kubernetes、kube-proxy）
RToax
10-10 450
如果您还不熟悉eBPF的概念，那么它允许您编写可以附加到Linux内核中各种低级挂钩的微型程序，以用于多种用途，包括网络，安全性和跟踪。您会看到许多利用eBPF的非网络项目，但是对于Calico，我们的重点显然是网络，尤其是将最新Linux内核的网络功能推向极限，同时保持Calico在简单性，可靠性和可伸缩性方面的声誉。
深入理解 Cilium 的 eBPF（XDP）收发包路径：数据包在Linux网络协议栈中的路径
RToax
10-30 364
Table of Contents 1 为什么要关注 eBPF？ 1.1 网络成为瓶颈 1.2 eBPF 无处不在 1.3 性能就是金钱 2 eBPF 是什么？ 3 为什么 eBPF 如此强大？ 3.1 快速 3.2 灵活 3.3 数据与功能分离 4 eBPF 简史 5 Cilium 是什么，为什么要关注它？ 6 内核默认 datapath 6.1 L1 -> L2（物理层 -> 数据链路层） 6.2 L2 续（数据链路层 - 续） Step 1：NAPI poll
FD.io VPP：探究分段场景下vlib_buf在收发包的处理（dpdk_plugin.so）、rte_mbuf与vlib_buf 关系
RToax
10-31 546
Table of Contents rte_mbuf、vlib_buf 关系及内存分布 使用dpdk-收包接口函数 使用dpdk 发包接口函数 总结 参考阅读 在使用vpp老版本copy报文的时候，经常遇到mbuf泄露的问题，根本原因是在vlib_buffer分段场景下没有将rte_mbuf进行串联，导致dpdk发包时造成了泄漏。最新的版本已经彻底解决了此问题。下面来分析一下： rte_mbuf、vlib_buf 关系及内存分布 首先，先来了解一下dpdk plugins。在pl..
linux内核将用BPF替代iptables
限量发行的专栏
04-06 1486
Linux内核社区最近发布了bpfilter，一个使用Linux BPF提供的高性能网络过滤内核模块， 用来替代netfilter作为iptables的长期支持的内核底层的实现，实现Linux用户的无痛向BPF过渡的换心手术。 BPF（Berkeley Packet Filter）可能我们比较生疏，但是我说起tcpdump、Wireshark等流行的网络抓包和分析工具你一定听说并可能使用...
Linux eBPF和XDP高速处理数据包；使用EBPF编写XDP网络过滤器；高性能ACL
RToax
10-10 1404
XDP（eXpress Data Path）是基于 eBPF 实现的高性能、可编程的数据平面技术。XDP 位于网卡驱动层，当数据包经过 DMA 存放到 ring buffer 之后，分配 skb 之前，即可被 XDP 处理。由于 XDP 位于整个 Linux 内核网络软件栈的底部，能够非常早地识别并丢弃攻击报文，具有很高的性能。这为我们改善 iptables/nftables 协议栈丢包的性能瓶颈，提供了非常棒的解决方案。BPF（Berkeley Packet Filter）字节码的动态注入技术。
Linux 中的 DTrace ：BPF 进入 4.9 内核
摄心神，致虚极，守静笃
12-20 1490
Linux 中的 DTrace ：BPF 进入 4.9 内核 编译自：http://www.brendangregg.com/blog/2016-10-27/dtrace-for-linux-2016.html 作者： Brendan Gregg 原创：LCTT https://linux.cn/article-8038-1.html 译者： GitFuture 本文地址
Linux网络协议栈：用eBPF写TCP拥塞控制算法
RToax
01-03 53
其实不想用这个题目的，只因为TCP相关的东西比较吸引人的眼球，这篇文章的主题还是eBPF，而不是TCP。 用eBPF写TCP拥塞控制算法只是本文所讲内容的一个再平凡不过的例子。 先看两个问题，或者说是两个痛点： 内核越来越策略化。 内核接口不稳定。 分别简单说一下。 所谓内核策略化就是说越来越多的灵巧的算法，小tricks等灵活多变的代码进入内核，举例来讲，包括但不限于以下这些： TCP拥塞控制算法。 TC排队规则，数据包调度算法。 各种查找的哈希...
Cilium：BPF和XDP参考指南
RToax
10-30 243
Table of Contents BPF体系结构 指令系统 辅助功能 地图 对象固定 尾叫 BPF到BPF呼叫 准时制 硬化 减负 工具链 开发环境 虚拟机 本文档部分针对希望深入了解BPF和XDP的开发人员和用户。阅读本参考指南可能有助于拓宽您对Cilium的了解，但不是必须使用Cilium。请参阅入门指南和体系结构以获得更高级的介绍。 BPF是Linux内核中一种高度灵活且高效的类似于虚拟机的构造，允许以安全的方式在各个挂钩点执行字节码。它被用于许多Linux..
Cilium提供并透明地保护应用程序工作负载之间的网络连接和负载平衡：什么是eBPF和XDP？
RToax
10-30 172
Table of Contents 稳定的发行 功能概述 透明地保护和保护API 基于身份的服务到服务通信的安全保护 安全访问外部服务 简单联网 负载均衡 监控和故障排除 整合方式 入门 什么是eBPF和XDP？ 社区 松弛 特殊兴趣小组（SIG） 每周开发人员会议 执照 https://github.com/cilium/cilium Cilium是开源软件，用于提供并透明地保护应用程序工作负载（例如应用程序容器或进程）之间的网络连接和负载平衡。Cilium在第3.
Linux中的DTrace：BPF进入4.9内核
weixin_34329187的博客
08-15 95
随着 BPF 追踪系统(基于时间采样)最后一个主要功能被合并至 Linux 4.9-rc1 版本的内核中，现在 Linux 内核拥有类似 DTrace 的原生追踪功能。DTrace 是 Solaris 系统中的高级追踪器。对于长期使用 DTrace 的用户和专家，这将是一个振奋人心的里程碑!现在在 Linux 系统上，你可以在生产环境中使用安全的、低...
【转】BPF详解
mrhesongze的博客
09-25 897
原文地址：https://linux.cn/article-9507-1.html 什么是 BPF? BPF，及伯克利包过滤器BerkeleyPacketFilter，最初构想提出于 1992 年，其目的是为了提供一种过滤包的方法，并且要避免从内核空间到用户空间的无用的数据包复制行为。它最初是由从用户空间注入到内核的一个简单的字节码构成，它在那个位置利用一个校验器进行检查 —— 以避免内核...
go技术文章精选（2019）
韩亚军的博客
01-03 1万+
gocn_news_set_2019 gocn_news_2019-12-31 Go 系列教程：https://dev.to/digitalocean/how-to-code-in-go-32p0 Go modules：最小版本选择 https://tonybai.com/2019/12/21/go-modules-minimal-version-selection/ 部署服...
Linux超能力BPF技术介绍及学习分享
Docker的专栏
09-15 1679
近两年BPF技术跃然成为了一项热门技术，在刚刚结束的KubeCon 2020 Europe会议上有7个关于BPF的技术分享， 而在KubeCon 2020 China会议上也已有了3个关...
polycube--基于ebpf/xdp的网络套件（网桥，路由器，nat，负载平衡器，防火墙，DDoS缓解器）
网络安全研究
11-19 206
1. Polycube简介 Polycube是基于Linux ebpf/xdp的开源软件框架，提供了快速，轻量级的 网络功能，例如网桥，路由器，nat，负载平衡器，防火墙，DDoS缓解器等。 可以组合各个网络功能来构建任意服务链，并提供到名称空间，容器，虚拟机和物理主机的自定义网络连接。Polycube还支持多租户，可以同时启用多个虚拟网络。 Polycube还提供了使用此框架构建的两个可运行的独立应用程序。 PCN-K8S是Polycube基于CNI插件用于Kubernetes，它可以处理整个数据中心
©️2020 CSDN 皮肤主题: 酷酷鲨 设计师:CSDN官方博客 返回首页