英特尔携手西部数码以 DPDK 有效提升互联网信息

DPDK沈阳市网站建设 是由英特尔发起并开源的数据平面开发工具集，其提供了用户空间的高效数据包处理库函数，通过建立内核旁路机制的方式，有效地提高了数据包处理速度。DPDK 通过轮询、用户态驱动、亲和性独占、软件调优、大页内存、环形缓冲区，缓存对齐，线程绑定，NUMA 感知，内存通道交叉访问，SIMD 指令利用等一系列技术，实现了高性能的报文转发能力。

英特尔于 2010 年启动 DPDK 技术的开源化进程，并通过 BSD 开源许可协议的方式正式发布源代码软件包。现在，通过 www.dpdk.org 上的独立开源社区平台，众多的参与者们正大幅推进 DPDK 的技术创新和快速演进，而今 DPDK 已成为海量数据处理场景中的关键技术之一。

在新的数据包抓取模块中，如图1所示，数据采集服务器的网络适配器通过绑定 DPDK 的 igb_uio 网卡驱动，并设置 10 个网络适配器队列，从而以 DPDK 的 0~9 Icore 线程来捕获相应的网卡队列。

所获取到的网络数据包首先利用 DPDK 提供的 IP 碎片重组库进行IP 碎片重组，然后进行 TCP 数据重组，并将组装完成的 TCP 数据流交由 HTTP 模块进行非法信息扫描，并将非法信息记录到数据库；而动作模块则会自动加载多种 URL 或域名的处置规则，并根据这些处置规则对 URL 或域名进行阻断、页面跳转等进一步操作。

一系列独有技术的加入让 DPDK 在这一工作流程中犹如庖丁解牛，游刃有余。首先是零拷贝技术的加入，众所周知，传统的 I/O过程中的数据传输，往往需要在用户空间和内核空间之间进行多次拷贝操作，这些拷贝操作会极大地降低数据传输的性能。来自西部数码的运维日志表明，在使用传统机制时，系统会产生大量处理器软中断，导致大量的处理器资源浪费。当数据流量比较大时，包处理速度就可能跟不上，甚至会影响对不良网页的拦截和跳转的成功率。

而工作在用户空间中的 DPDK，通过巧妙的内存池技术，使其与内核空间的内存交换不需要拷贝，仅需完成控制权转移即可，因此可以极大地减少资源消耗，提升数据处理效率。在西部数码进行的一项对比性测试中，由传统方式和 DPDK 方式分别处理 7G左右网络流量，从图2可以看出，传统方式有 16 个处理器内核的软中断在 10% 到 23% 之间，而 DPDK 方式几乎没有出现，这意味着使用DPDK的方式可以有效地节省宝贵的处理器资源。

另一项 DPDK 的独有策略：亲和性独占，也为数据抓取模块的性能提升带来强大驱动力。这一策略是让同一个 Icore 线程尽可能在一个处理器核心上长时间运行，从而避免线程迁移带来的额外开销，同时还可提高处理器缓存的命中率，减少内存访问损耗，提高数据处理速度。

除此之外，英特尔团队还根据西部数码业务的发展方向，对其可能遇到的性能瓶颈进行了预判，并给出相应的技术方案。例如在方案中，计划使用 DPDK 的 rte_mempool 模块来优化内存池。该模块所采用的大页内存技术，可以让系统在频繁分配/释放内存空间时，节约更多的资源。另外，DPDK 的 rte_ring 无锁环结构也正被引入系统，该结构可以有效减少线程锁的调用，从而节省更多的处理器系统调用。最后，方案中还计划引入DPDK 的电源管理技术，节约更多因轮询网络适配器数据带来的处理器资源消耗。

先进的技术，以及双方团队的紧密协作，让本次技术合作结出了累累硕果。在进行优化升级后，西部数码对系统进行了一系列 URL 阻断和跳转测试。测试结果表明，传统方式的阻断成功率为 91%，而 DPDK 的成功率达到了 99%。这一结果表明 DPDK 可以有效地帮助西部数码系统提升其不良信息的检测效率。

西部数码互联网信息监测处置系统的基础设施支撑

来自英特尔的一系列先进硬件产品也为西部数码互联网信息监测处置系统提供了良好的基础设施支撑。一方面，面对数据处理所需的大量计算需求，系统部署的英特尔 至强 金牌 5118 处理器承担起了强劲的动力引擎作用。除了全新的微架构以外，这款处理器还配备了 12 核心 24 线程，主频高达 2.3GHz，同时拥有 16.5MB 高速缓存，以及包括英特尔 高级矢量扩展指令 512（英特尔 AVX - 512）在内的大量硬件增强技术，可以充分满足数据采集、处理所需的繁重计算任务。

同时，英特尔 以太网融合网络适配器 X520 以及 X710 也为数据采集模块提供了高性能的 IO 硬件支撑能力，其所具备的数据直接I/O（Data  Direct  I/O, DDIO）技术，可令网络适配器直接与处理器缓存进行通信，而无需通过系统内存绕行，从而降低延迟，提高系统 I/O 带宽，有效提升西部数码系统的数据处理效率。

通过前一阶段的紧密协作，双方团队对 DPDK 在西部数码互联网信息监测处置系统中的应用进行了充分而详实的论证，并在实践部署中帮助西部数码系统大幅提升其工作性能。DPDK 及其它一系列英特尔先进产品与技术的引入，西部数码的检测系统的数据包抓取、处理效率得到了显著的提高，为更多的用户提供更为健康、可靠、安全的互联网服务。而在性能之外，来自一线的反馈数据也表明，在引入 DPDK 之后，系统的稳定性和可靠性也获得显著提高；同时，对数据包的高性能处理能力，帮助西部数码得以大幅节约服务器资源，原先 3-4 台服务器所承载的处理任务，现在仅需一台服务器即可满足 。

在未来，双方还将开展更深层次的技术合作。一方面，西部数码正计划引入更多的英特尔产品与技术，例如英特尔 QAT 技术、新一代英特尔 固态盘产品等来提升西部数码的整体基础设施性能；另一方面，西部数码更希望能够与英特尔合作，进一步挖掘 DPDK 的潜能，并部署到其网关与、高性能分布式存储、容器等产品线上。