TI Navigator Runtime 帮助提升多核处理器效率 处理器

我是MT

作者：
Eric Biscondi， 德州仪器系统与架构经理
Tom Flanagan， 德州仪器技术战略总监
Frank Fruth， 德州仪器软件开发总监
Zhihong Lin， 德州仪器战略市场营销经理
Filip Moerman， 德州仪器通信基础设施及多内核高级系统架构师

多内核处理器给编程人员带来了新的挑战。在多内核项目中，半数以上的成本来自软件开发。多内核编程的具体挑战是非对称多内核处理器 (AMP)，因为其中相同的器件中驻留着 RISC 与 DSP 内核等不同类型的处理单元。这主要是因为操作系统 (OS) 对资源管理与负载均衡的支持非常薄弱甚至根本没有，导致可扩展性差与资源利用率低。德州仪器 (TI) 创新型 KeyStone II 多内核架构提供专用硬件帮助实现调度与负载均衡功能，可简化多内核可编程性。KeyStone II通过这些措施实现了多内核编程的性能突破。

AMP 编程挑战

随着多内核技术的演进，越来越多的 SoC 提供对称多内核架构实现低成本以及更高的性能。典型的 AMP 具有运行在不同操作系统上的异构内核、硬件加速器以及非所有内核共享的分布式存储器。在对称多内核处理器 (SMP) 应用中，内核完全相同并运行支持相同共享存储器架构的相同操作系统，因此使用操作系统带来的内核间通信、调度以及负载均衡功能相对而言更为直接。AMP 器件的编程需要更高的并行编程技能，才能通过控制和协调不同的内核及操作系统实现可满足单内核或 SMP 编程需求的高稳定性及高性能。

传统非对称多内核处理要求在编译时对多内核资源进行静态分区。这样做难度往往较大，因为运行时的软件加载不能提前判别，尤其是 4G LTE、LTE Advanced 以及云计算等尖端技术。一般解决办法是预留额外的空间，以确保系统在最恶劣应用条件下也能正确运行。资源过度分配的不利影响是资源利用不足，最终会导致产品成本上升。另一方面，首次使用时或者引入新功能、需要现场强化或需求改更时，手动重新分区及软件优化会带来大量的软件工作。

同步性及处理器间通信 (IPC) 的效率在多内核编程过程中至关重要。缺乏对各种同步性与 IPC 机制的适当硬件支持，会因过多的软件开销而导致多内核利用低下，降低系统性能。

这对 AMP 多内核系统而言尤为如此，因为难以实现软件可扩展性与灵活性。

多内核导航器助力实现创新

多内核导航器是一种基于数据包的创新基础设施，支持数据传输与多内核控制。TI 异构 KeyStone 架构完美整合了 DSP Core-Pac、ARM® CorePac、硬件 AccelerationPac 以及 I/O 外设。它们不但可通过 TeraNet 进行物理互连，而且可通过多内核导航器进行逻辑互连。在 TI KeyStone II 架构中，多内核导航器不但包含可容纳 1.6 万个硬件队列的队列管理器，通常存放指向各种数据包（由描述符及数据有效负载组成）的指针，而且还包含 8 个 3,200 MIPS uRISC、用于传输数据的数据包 DMA 以及支持 100 万个描述符的硬件数据结构。此外，还可在 AccelerationPac 与 I/O 子系统中构建数据包 DMA，这样多内核导航器无需内核干预，便可将数据从任何单元传输至任何端点。

多内核导航器为 CorePac、AccelerationPac 以及 I/O 提供统一接口，可将硬件队列用于图 1 所示的不同系统端点。这可为所有 IP 块提供支持通用通信方式的 AMP 系统。多内核导航器可充分利用内建在队列管理器中的 uRISC 内核来管理流量路由、IPC、资源管理、调度以及负载均衡，从而可优化和加速数据流。各种任务可由队列管理器按需派送和分配给负载最轻的内核或 IP 子系统。



图 1：多内核导航器子系统

多内核导航器可提供高效率内核间通信机制。硬件队列与数据包 DMA 是 IPC 的基本构建块。某些队列经过精心设计，可对 IPC 内核产生中断。多内核导航器内部的 uRISC 内核使用可编程中断通知功能实现自动队列监控与管理。多内核导航器可充分限制软件开销，降低同步时延，并可提高 IPC 吞吐量。此外，它还支持无锁编程模型。图 2 是使用多内核导航器的 IPC 示意图。



图 2：使用多内核导航器实现处理器间的通信

虽然采用 TI KeyStone II 硅芯片架构已经解决了多内核挑战，但只有应用软件开发人员充分发挥多内核性能，才能真正实现这种硬件架构的各种优势。在软件方面，TI 正在投资标准编程方法，让支持多内核导航器的 KeyStone II 的各项优势充分体现在应用中。行业中及学术界已经涌现出大量有望成为标准的多内核编程趋势。所有这些方法的共同之处在于应用软件开发人员先通过语言表达，采用特定手段描述其应用的并行性，然后再映射至底层运行时。该运行时可掌控将过程映射至底层硬件架构。

Navigator Runtime 是一个可扩展薄软件层，可帮助多内核导航器实现更高水平的并行编程性能，提高可扩展性、移植性及效率。对 AMP 编程挑战而言，多内核导航器和 Navigator Runtime 的完美结合是一款功能强大的独特解决方案。

Navigator Runtime 的主要功能是将工作任务分配给多个内核。先将工作任务放入待执行的虚拟队列，然后由嵌入在多内核导航器硬件中的 uRISC 内核执行中央调度。调度器根据优先级、原子性以及本地性选择工作任务，然后分配给软件分配器。软件分配器是驻留在每一个内核中的 Navigator Runtime 的必备部件。分配器随即将每项工作任务发送至处理元件执行，处理元件可能是内核、AccelerationPac 或 I/O 端点中的线程。

充分发挥多内核导航器的作用，工作任务制定者及使用者的抽象可由 Navigator Runtime 完成。将嵌入式 uRISC 内核用于集中调度工作（无需消耗主 DSP 或 ARM® 内核的 MIPS），可实现低开销、低时延以及每个内核 25 万个任务的高吞吐量，实现无与伦比的并行编程性能。

图 3 主要展示 Navigator Runtime 概念及其与多内核导航器的互动。



图 3：Navigator Runtime 与多内核导航器的互动

多内核性能可使用加速性进行测量，加速性的定义是用单内核串行执行时间除以多内核执行时间。在理想条件下，8 内核系统的加速性等于 8。但在实际中，由于多内核总线判优、存储器访问时延、高速缓存一致性管理、同步以及 IPC 等多内核开销的影响，典型加速性与理想条件相距甚远。Navigator Runtime 消耗的开销极少，以尽量接近理想加速性，实现多内核性能的最大化。

以 LTE 上行链路物理层处理为例，串行代码可细分为 1,024 个工作任务用于实现天线数据处理、通道估算以及均衡等。平均每个工作任务有 4K 输入数据及 2K 输出数据驻留在共享存储器中。Navigator Runtime 将用于调度这些工作任务并分配给 8 个不同的内核，故加速性的计算如下：

8 内核加速性 = 采用本地 L2 存储器中的数据单内核串行执行代码的时间 ÷ 采用共享 DDR3 存储器中的数据 8 内核并行执行的时间

在并行 8 内核执行示例中，在处理前可分配多个导航器数据包 DMA 通道将 DDR3 中的数据预加载到本地 L2 存储器中，并在处理后将数据从 L2 返回至 DDR3，就像为降低存储器访问时延的 CPU 高速缓存运行一样。结果所测得的 KeyStone 器件的加速性为：在 3.2 万个周期的工作任务中，从 8 内核 KeyStone 器件中测得的基准数据可实现 7.8 的加速性，而在 1.6 万个周期的工作任务中，其则可实现 7.7 的加速性，非常接近理想的 8 加速性。与 KeyStone I 相比，KeyStone II 中的导航器已得到了明显的改进：4倍uRISC 引擎数量可实现更多的调度资源，而数据包 DMA 通道、硬件队列以及描述符数量翻番，则可提高执行吞吐量。

图 4 为 KeyStone Navigator Runtime 在各种工作任务量情况下，2 至 8 内核的实际加速性与理想加速性的比较。


图 4：采用 Navigator Runtime 实现的多内核加速性

此外，TI KeyStone II 架构还可为所有异构内核提供 6MB 的片上共享存储器（MSMC 存储器）容量。MSMC 的存储器访问性能非常接近 L2 存储器访问性能。当数据存储在 MSMC 中时，无需使用导航器预加载和后存储数据，便可实现与上面情况类似的加速性。与其它可选解决方案相比，大型片上共享存储器可利用低系统时延为多内核性能带来独特的优势。

Navigator Runtime 不但可支持各种系统应用，而且还能够与 OpenMp 等高级多内核编程范式集成。

OpenMP 是一款支持多平台共享存储器多处理编程的应用编程接口 (API)，由编辑器指令、运行时库程序以及环境变量构成。在 OpenMP 中，用户可使用语言指令（例如编译器指令）来识别其软件中的并行性，也可使用工具帮助识别。使用兼容 OpenMP 的编译器可读取编译指令，其可将编译指令所注释的串行代码转换成并行代码，并在 OpenMP 运行时中插入调用。对在特定器件上运行的应用而言，多内核编程方法的运行时时延及开销性能将会限制可实现的并行性。更低的时延与开销可在应用中实现并行化创造更好的条件，进而实现更高的多内核效率。

开始已经为共享存储器架构指定了 OpenMP。我们现在讨论分布式存储器及异构处理器架构支持。TI Navigator Runtime 可用作 OpenMP 的运行时系统。多内核同步与 IPC 可使用导航器中的数据包 DMA 引擎有效处理。前面的基准显示，将 Navigator Runtime 用作 OpenMP 运行时不但可显著降低编译器指令的构建开销，而且还可显著提升多内核系统内的并行性，让编程人员专注于识别并行任务。调度及负载均衡由 Navigator Runtime 自动管理，不但可简化编程，而且还可最大限度地提高多内核效率。

下页图 5 显示的是使用 Navigator Runtime 与 OpenMP 的 KeyStone AMP 编程流程。随同 Code Composer Studio™ 集成开发环境提供的 Code Gen Tool 7.4 版是一款立即可用于 OpenMP 的编译器。该编程流程具有通用性，不但可用于各种多内核应用，而且还可通过扩展支持各种不同内核及系统规模。其目的是以单内核编程的便捷性实现多内核的高性能。