关键词：PXIe-2519G3、流盘、吞吐率、SSD、RAID 0、带宽

1. 简介 

本文使用数字化仪PXIe-9819、硬盘PXIe-825-4s、控制器PXIe-3127a进行流盘为具体应用，测试、分析PXIe-2519G3机箱的高速流盘效能。 

PXIe-2519G3的系统带宽为16 GB/s，PXIe-3127a的系统带宽为16 GB/s，因此系统总带宽为16 GB/s。PCIe带宽的利用率在70%~80%左右，系统的有效带宽约为：16 GB/s×70% = 11.2 GB/s 。

搭配3张9819，PXIe-2519G3与2张PXIe-825-4S实测系统流盘吞吐率为4.4 GB/s，限制总吞吐率的主要原因在于PCIe Switch带宽，以及PXIe-9819是Gen2x8，但PXIe-2519G3机箱是Gen3x4，最终通讯速度降成Gen2 x4。

 2. PXIe系统高速流盘架构

高速流盘系统的整体性能遵循"木桶效应"——系统的最大持续吞吐能力由带宽最低的环节决定。流盘数据从采集到写入存储的完整路径可分为数据的上行、下行两个路径，需经过板卡、机箱、控制器、SSD，系统流盘吞吐率受限于其中带宽最小的部分。

图1 流盘架构 

本次测试需求为使用3张PXIe-9819、2张PXIe-825-4S (SSD)，在PXIe-2519G3机箱中进行满速、满通道的流盘。2519G3的背板架构如图2。

图2 PXIe-2519G3背板架构 

使用2张SSD组成RAID 0，在2、3槽位；3张PXIe-9819，1张位于Slot 4，2张位于Slot 5、6 (经过PCIe Switch)。

图 3 板卡位置 

下面从上行、下行两部分对本次测试系统进行带宽的分析。 

3. 上行带宽 ：理论值16 GB/s ，实际值4.4 GB/s

 (1) 系统理论带宽：

• PXIe-2519G3的理论上行带宽为16 GB/s

• PXIe-3127a的PCIe链路支持4组Gen3 x4，带宽为16 GB/s

• 综合控制器和机箱带宽，系统理论上行带宽为16 GB/s 

PXIe-2519G3为9槽全混合机箱（如图2 PXIe-2519G3背板架构）其中：

• 前三槽 (2-4槽) 直连控制器槽位，每槽规格为：PCIe Gen3 x4 (4 GB/s)，总带宽为：4 GB/s x 3 = 12 GB/s 

• 后五槽（5-9槽）经过PCIe Switch连接至控制器槽位，其规格为：Gen3 x4，总带宽为4 GB/s

• PXIe-2519G3总带宽为：12 GB/s + 4 GB/s = 16 GB/s 

(2) 模块通讯带宽： 

PXIe-9819的最高采样率为250 M/s，16位分辨率、4个通道，PCIe连接器为Gen2 x8

图 4 PXIe-9819（左）和PXIe-825（右）

9819单张卡流盘理论最高吞吐率为： 250M/s×2 Byte×4 ch = 2 GB/s

使用3张9819进行满速、满通道流盘时，理论总吞吐率为： 2 GB/s×3 = 6 GB/s

9819 PCIe连接器规格为Gen2 x8，机箱背板连接器规格为Gen3 x4，两者连接时PCIe版本和通道数量都取最低，通讯降为PCIe Gen2 x4，其理论带宽为2 GB/s 

(3) 系统实际带宽

实测多卡同步时最高流盘速率为185 MB/s，则单张9819的流盘吞吐率为 0.185 GB/s×2 Byte×4 ch = 1.48 GB/s

3张卡同步流盘的总吞吐率为：1.48 GB/s×3 = 4.44 GB/s 

后五槽中两张卡的吞吐率为：1.48 GB/s×2 = 2.96 GB/s 

单个槽位的带宽利用率为：1.48÷2×100% = 74% 

PCIe Switch的带宽利用率为 2.96÷4×100% = 74% 实际使用中，PCIe链路带宽的利用率为70%~80%，74%在合理范围内且接近饱和，因此PCIe Switch带宽、9819和背板连接器不匹配为限制流盘速率的主要因素。

 4. 下行带宽 

控制器的下行带宽为16 GB/s；单张SSD的最高写入速度为3.3 GB/s，两张SSD的写入速度为6.6 GB/s。两部分的带宽相比于4.44 GB/s的吞吐率都有较大冗余，不是流盘吞吐率的限制因素。