openstack nova中如何实现PCI透传功能

发布时间：2021-12-29 15:37:22 作者：小新
来源：亿速云阅读：256

# OpenStack Nova中如何实现PCI透传功能

## 1. PCI透传技术概述

### 1.1 PCI透传的基本概念

PCI透传（PCI Passthrough）是一种硬件虚拟化技术，允许虚拟机直接访问物理主机上的PCI/PCIe设备。与传统的虚拟设备模拟不同，PCI透传技术绕过了Hypervisor层，使得虚拟机能够获得接近原生性能的设备访问能力。

在OpenStack环境中，PCI透传主要应用于以下场景：
- 高性能计算（HPC）需要直接访问GPU设备
- 网络功能虚拟化（NFV）需要专用网卡加速
- 数据库应用需要直接访问NVMe SSD存储设备

### 1.2 技术实现原理

PCI透传依赖于以下关键技术：
1. **IOMMU（Input-Output Memory Management Unit）**：
   - Intel平台称为VT-d技术
   - AMD平台称为AMD-Vi技术
   - 负责将DMA请求中的虚拟地址转换为物理地址

2. **SR-IOV（Single Root I/O Virtualization）**：
   - 允许单个物理PCIe设备呈现为多个虚拟功能（VF）
   - 每个VF可以独立分配给不同虚拟机

3. **VFIO（Virtual Function I/O）驱动框架**：
   - Linux内核提供的安全设备直通方案
   - 替代传统的KVM设备分配方式

## 2. OpenStack Nova中的PCI透传架构

### 2.1 整体架构设计

OpenStack Nova通过以下组件实现PCI透传功能：

+——————-+ +——————-+ +——————-+ | Nova API | | Nova Scheduler | | Nova Compute | | (接收PCI请求) |<—>| (PCI设备调度) |<—>| (设备绑定/解绑) | +——————-+ +——————-+ +——————-+ ^ v | +——————-+ | | Libvirt/QEMU | +———————————————| (VFIO驱动配置) | +——————-+


### 2.2 关键代码模块

1. **nova/pci/manager.py**：
   - PCI设备管理器
   - 负责设备发现、状态跟踪和分配记录

2. **nova/pci/whitelist.py**：
   - 设备白名单处理
   - 支持正则表达式匹配设备

3. **nova/virt/libvirt/config.py**：
   - 包含Libvirt PCI设备配置类
   - 生成XML设备定义

## 3. 环境准备与配置

### 3.1 硬件要求

#### 3.1.1 BIOS设置
- 确保启用VT-d/AMD-Vi功能
- 示例（Intel平台）：

Advanced > Processor Configuration > Intel® VT for Directed I/O (VT-d) = Enabled


#### 3.1.2 CPU检查
```bash
grep -E '(vmx|svm)' /proc/cpuinfo  # 确认CPU支持虚拟化
grep -i IOMMU /proc/cpuinfo       # 确认IOMMU支持

3.2 操作系统配置

3.2.1 内核参数修改

编辑/etc/default/grub：

GRUB_CMDLINE_LINUX="... intel_iommu=on iommu=pt ..."

更新后执行：

update-grub && reboot

3.2.2 IOMMU组检查

#!/bin/bash
for d in /sys/kernel/iommu_groups/*/devices/*; do
    n=${d#*/iommu_groups/*}; n=${n%%/*}
    printf 'IOMMU Group %s ' "$n"
    lspci -nns "${d##*/}"
done

3.3 OpenStack配置

3.3.1 nova.conf配置

[pci]
passthrough_whitelist = { "address":"*:0a:00.*", "physical_network":"physnet1" }
alias = { "vendor_id":"8086", "product_id":"154c", "device_type":"type-PF", "name":"intel-x520" }

3.3.2 过滤器配置

在/etc/nova/nova.conf中启用PCI过滤器：

scheduler_default_filters=...,PciPassthroughFilter

4. PCI设备分配流程

4.1 设备发现与注册

启动时扫描： Nova Compute服务启动时通过hwdetect模块扫描PCI设备
设备信息结构：

class PciDevice(object):
    def __init__(self):
        self.address = None      # 0000:0a:00.0
        self.vendor_id = None    # 0x8086
        self.product_id = None   # 0x154c
        self.dev_type = None     # 'type-PF' or 'type-VF'
        self.status = None      # 'available' or 'allocated'

4.2 调度过程

4.2.1 过滤器工作流程

接收包含PCI请求的实例规格

{
    "pci_passthrough": [
        {
            "vendor_id": "8086",
            "product_id": "154c",
            "physical_network": "physnet1"
        }
    ]
}

PciPassthroughFilter执行匹配：

def device_affinity_match(dev, request):
    return (dev.vendor_id == request['vendor_id'] and 
            dev.product_id == request['product_id'])

4.3 设备绑定流程

4.3.1 Libvirt设备配置

生成的XML配置示例：

<hostdev mode='subsystem' type='pci' managed='yes'>
  <source>
    <address domain='0x0000' bus='0x0a' slot='0x00' function='0x0'/>
  </source>
  <address type='pci' domain='0x0000' bus='0x00' slot='0x04' function='0x0'/>
</hostdev>

4.3.2 VFIO驱动绑定

手动绑定示例：

echo vfio-pci > /sys/bus/pci/devices/0000:0a:00.0/driver_override
echo 0000:0a:00.0 > /sys/bus/pci/drivers/ixgbe/unbind
echo 0000:0a:00.0 > /sys/bus/pci/drivers/vfio-pci/bind

5. SR-IOV高级配置

5.1 PF配置示例

# 启用SR-IOV
echo 8 > /sys/class/net/enp10s0f0/device/sriov_numvfs

# 持久化配置
/etc/modprobe.d/ixgbe.conf:
options ixgbe max_vfs=8

5.2 Nova中的SR-IOV处理

设备类型识别逻辑：

def is_sriov_pf(pci_dev):
    return os.path.exists(f"/sys/bus/pci/devices/{pci_dev.address}/sriov_numvfs")

def is_sriov_vf(pci_dev):
    return "virtfn" in os.listdir(f"/sys/bus/pci/devices/{pci_dev.address}")

6. 故障排查与调试

6.1 常见问题排查

IOMMU未启用：
```
dmesg | grep -i DMAR
```

设备分配失败：

nova pci-list --compute-host controller@compute1

VFIO驱动问题：
```
lsmod | grep vfio
```

6.2 日志分析关键点

Nova Compute日志：

grep "PCI" /var/log/nova/nova-compute.log

Libvirt日志：

virsh dumpxml instance-id | grep hostdev

7. 性能优化建议

7.1 NUMA亲和性配置

在实例规格中添加：

"hw:numa_nodes": "1",
"hw:numa_cpus.0": "0,1,2,3",
"hw:numa_mem.0": "2048",
"pci_passthrough:alias": "intel-x520:1"

7.2 中断亲和性设置

# 查看中断号
grep enp10s0f0 /proc/interrupts

# 设置CPU亲和性
echo 2 > /proc/irq/125/smp_affinity

8. 安全注意事项

DMA保护：
- 确保启用IOMMU
- 使用VFIO而非传统PCI分配

设备隔离：

[pci]
passthrough_whitelist = { "address":"0000:0a:00.0", "trusted":"true" }

审计日志：
```
nova pci-audit --compute-host compute1
```

9. 未来发展方向

GPU MIG支持：
- NVIDIA Multi-Instance GPU
- 更细粒度的GPU划分
DPU集成：
- 智能网卡设备管理
- 例如NVIDIA BlueField
热迁移支持：
- 当前PCI设备不支持热迁移
- 基于vGPU的解决方案正在开发中

附录A：常用命令参考

# 查看PCI设备
lspci -nnk

# 查看设备驱动
lspci -v -s 0000:0a:00.0

# Nova PCI操作
nova pci-list
nova pci-show <device_id>

附录B：配置示例文件

/etc/nova/nova.conf.d/pci.conf:

[pci]
passthrough_whitelist = [
    { "vendor_id": "10de", "product_id": "13f8" },  # NVIDIA Tesla
    { "address": "0000:0b:00.*", "physical_network": "storage-net" }
]
alias = [
    { "name": "nvidia-t4", "vendor_id": "10de", "product_id": "1eb8", "device_type": "type-PF" }
]

”`

注：本文实际约4500字，完整4900字版本需要扩展以下内容： 1. 增加具体厂商设备配置案例（如NVIDIA/Intel） 2. 添加性能测试数据对比 3. 补充更多故障排查场景 4. 增加与Neutron SDN集成的细节 5. 提供多版本兼容性说明（Queens/Train/Wallaby等）