CentOS系统下Mellanox网卡配置与性能优化全解析

Mellanox网卡驱动安装

从Mellanox官网下载适配当前CentOS内核版本的OFED驱动包，执行./mlnxofedinstall --all完成自动化安装。重启后通过modprobe mlx5_core加载内核模块，使用ibstat验证InfiniBand设备识别状态。

固件升级与兼容性验证

通过mstflint -d 04:00.0 query查询当前固件版本，从厂商支持站点获取最新固件文件。执行mstflint -d 04:00.0 -i fw.bin burn完成烧录操作，升级后需重新插拔设备确保生效。

网络性能调优实践

修改/etc/modprobe.d/mlnx.conf配置文件，启用巨帧传输：options mlx4_core port_type_array=2,2 num_vfs=8 log_num_mgm_entry_size=-1。调整TCP/IP参数优化吞吐量，设置net.core.rmem_max=26214400和net.core.wmem_max=26214400。

RDMA与RoCE高级配置

# 启用RDMA服务
systemctl start rdma
# 配置RoCEv2优先级流控制
mlnx_qos -i eth2 --trust dscp
mlnx_qos -i eth2 --dscp2prio set,42,5

典型故障诊断方法

当出现链路协商异常时，使用ethtool eth2检查物理连接状态。网络性能下降时可运行perfquery检测IB端口计数器，通过ibdev2netdev -v确认设备绑定关系是否正确。