理解linux pci 扫描流程-摩杜云开发者社区

本文主要描述linux kernel进行pci总线扫描，linux kernel代码基于版本2.6.37

域最先需要说明一个概念--域百度百科：域之原义指地方的范围，后逐渐演变为数学、生物、科技等学科的某类单位的分类词语。域英文叫DOMAIN (a set of websites on the Internet which end with the same group of letters,for exemple'.com','org'-------《牛津高阶英汉双解词典》）出现在本文中，意义要窄一些，认为域是一个使用同一编址方式的范围。比如： pci域，使用pci地址进行寻址 x86域，使用x86物理地址进行寻址域有主导者，访问都通过它进行 pci域，主导者是pci root，如果需要访问一个pci设备，就需要通过主导者pci root进行，它能识别的地址是pci地址 x86域，主导者是x86 cpu，如果需要访问一个内存，就需要通过主导者x86 cpu进行，它能识别的地址是x86物理地址如果引申一下有物理地址，线性地址，逻辑地址，虚拟地址，在另一篇文章中有提到。本文中将的是pci域，所以所有的寻址都是使用pci地址
pci总线简单的介绍一下pci，有意愿的话，可以认真看看pci协议，到处都有得下，英文的。 2.1 pci设备 pci有三种设备，有一种叫cardbus没接触过不提，所以认为两种，普通设备和桥设备普通设备的功能是系统需要的具体功能，具体功能最终也会归到数据传输，数据处理上面去。如果一个pci设备是这么组成的 pci总线接口 -- 内存 -- 网络数据处理器 -- 网络接口网络数据通过网络接口进到网络数据处理器，处理后放到pci设备的内存上，再通过pci总线接口将数据发送到pci总线上，于是另一个pci设备就能够获取网络数据，反方向就是发送网络数据很明显，这个pci设备就是一个pci网卡类似的 pci总线接口 -- 内存 -- 视频数据处理器 -- 视频接口一个pci显卡 pci总线接口 -- 内存 -- 音频数据处理器 -- 音频接口一个pci声卡

桥设备的功能是扩展pci总线，根据pci协议，一个总线上支持32个dev，每个dev支持8中功能，数量不够多，扩展功能是必要的。命令lspci -t查看拓扑 -[0000:00]-+-00.0 +-02.0 +-1b.0 +-1c.0-[20]-- +-1c.1-[3f]----00.0 +-1d.0 +-1d.1 +-1d.2 +-1d.3 +-1d.7 +-1e.0-[05]----04.0 +-1f.0 +-1f.1 \-1f.2 pci总线0下有多个设备普通设备00.0, 02.0, 1b.0, 1d.0-7, 1f.0-2 桥设备1c.0, 1c.1, 1e.0 桥1c.0扩展总线20, 1c.1扩展总线3f, 1e.0扩展总线05 总线20下无设备，总线3f下有设备3f:00.0，总线05下有设备05:04.0

2.2 pci配置空间 pci是一种总线，特点是灵活可配置，因为它有一个专门的区域叫配置空间。配置空间通过io总线访问，x86是0xCF8,0xCFC，一个是控制端口一个是数据端口命令可查看 sh-4.1# cat /proc/ioports ... 0cf8-0cff : PCI conf1 ... 桥设备和普通设备的配置空间内容不一样桥设备的配置空间需要说明pci总线的拓扑，内存映射的地址范围等等普通设备的配置空间需要说明该设备内存映射的地址范围，pci的中断号等等讲配置空间的网上有很多很优秀的文章，不贴过来了

2.3 pci内存映射空间考虑一个pci声卡 pci总线接口 -- 内存 -- 音频数据处理器 -- 音频接口音频数据处理器处理完的数据存放到pci设备的内存中，如何在pci总线上访问到这块内存从而获取其中的音频数据呢？前面说pci配置空间说明内存映射空间地址范围，即将这块内存映射到pci总线域的哪块地址，这样在pci总线域中访问这块地址就是访问这块内存内存映射空间一般有一个或者多个，看一个真实的显卡 00:02.0 VGA compatible controller: Intel Corporation 82945G/GZ Integrated Graphics Controller (rev 02) (prog-if 00 [VGA controller]) Subsystem: Hewlett-Packard Company Device 3010 Flags: bus master, fast devsel, latency 0, IRQ 16 Memory at e0400000 (32-bit, non-prefetchable) [size=512K] I/O ports at 20c0 [size=8] Memory at d0000000 (32-bit, prefetchable) [size=256M] Memory at e0480000 (32-bit, non-prefetchable) [size=256K] Expansion ROM at Kernel driver in use: i915 Kernel modules: i915 这里面的信息都是从配置空间获取的，可以看到有4个内存映射空间 Memory at e0400000 (32-bit, non-prefetchable) [size=512K] I/O ports at 20c0 [size=8] Memory at d0000000 (32-bit, prefetchable) [size=256M] Memory at e0480000 (32-bit, non-prefetchable) [size=256K] 只是第二个有些特殊是io port的映射区间，另外的三个都是真实的内存映射区间，第三个对应的就是显卡上的256MB显存

扫描过程经过前面内容，可以猜想pci设备的初始化流程应该是 a. 通过io总线配置pci配置空间 b. 通过io总线读取pci配置空间信息，获取内存映射空间的映射地址信息 c. 通过读写内存映射空间实现数据传输看上去显得很简单，但是简单的说就是这么简单如果只有一个总线，下面又只挂了一个pci设备，那么我认为上面的流程及足够了，上面的流程也是pci驱动初始化pci设备的基本流程。由于大量的pci桥和pci普通设备有可能出现在pci总线上，所以实际情况比这个复杂 3.1 BIOS pci 扫描最先进行pci扫描的是x86上的BIOS，扫描的结果是各个pci普通设备和pci桥都被配置完成，但是这种配置有可能是不能用的。原因需要回到域的概念，简单的考虑，x86系统中存在两个域，x86域和pci域，由于x86系统的特殊性，两个域被设计成对等映射的关系。也就是说，虽然x86域中使用x86地址进行访问，pci域中使用pci地址进行访问，但是两者对同一个实体的地址是相等的。这样带来的问题是两个域的地址不能重合，需要分开。命令cat /proc/iomem可查看 00000000-00000fff : reserved 00001000-0009fbff : System RAM 0009fc00-0009ffff : reserved 000a0000-000bffff : Video RAM area 000c0000-000c7fff : Video ROM 000cd400-000e7fff : pnp 00:0e 000e8000-000fffff : reserved 000f0000-000fffff : System ROM 00100000-7f7c82ff : System RAM 00400000-007aca75 : Kernel code 007aca76-00a1cf6f : Kernel data 00aa8000-00c2b8bf : Kernel bss 7f7c8300-7fffffff : reserved 80000000-801fffff : PCI Bus 0000:20 80200000-803fffff : PCI Bus 0000:20 80400000-805fffff : PCI Bus 0000:3f 80600000-806fffff : PCI Bus 0000:05 80600000-8061ffff : 0000:05:04.0 d0000000-dfffffff : 0000:00:02.0 e0400000-e047ffff : 0000:00:02.0 e0480000-e04bffff : 0000:00:02.0 e04c0000-e04c3fff : 0000:00:1b.0 e04c0000-e04c3fff : ICH HD audio e04c4000-e04c43ff : 0000:00:1d.7 e04c4000-e04c43ff : ehci_hcd e0500000-e07fffff : PCI Bus 0000:3f e0500000-e050ffff : 0000:3f:00.0 e0500000-e050ffff : tg3 e0800000-e0afffff : PCI Bus 0000:05 e0a00000-e0a000ff : 0000:05:04.0 e0a00000-e0a000ff : r8169 f0000000-f3ffffff : reserved f0000000-f3ffffff : pnp 00:0e f0000000-f1ffffff : PCI MMCONFIG 0000 [bus 00-1f] fec00000-fed3ffff : reserved fec00000-fec003ff : IOAPIC 0 fec01000-fed3ffff : pnp 00:0e fed45000-ffffffff : reserved fee00000-fee00fff : Local APIC 后面一段基本都是pci设备，前面一段基本都是ram，两者没有重合部分回到BIOS配置可能不可用的问题，如果linux kernel将系统内存也安排到了BIOS配置pci的地址区域，出现重合，系统就乱了。

3.2 kernel扫描既然BIOS配置可能不可用，那么只能kernel自己重新扫一次，合理安排pci地址空间和x86空间的地址了。内核有个配置选项与此相关 CONFIG_PCI_BIOS CONFIG_PCI_MMCONFIG CONFIG_PCI_DIRECT 网上有相关说明，不贴了 3.2.1 扫描流程 cat System.map | grep pci | grep __initcall ffffffff8170c818 t __initcall_pci_reboot_init1 ffffffff8170c8c8 t __initcall_pcibus_class_init2 ffffffff8170c8d0 t __initcall_pci_driver_init2 ffffffff8170c918 t __initcall_acpi_pci_init3 ffffffff8170c940 t __initcall_pci_arch_init3 ffffffff8170c9b8 t __initcall_pci_slot_init4 ffffffff8170c9d0 t __initcall_acpi_pci_root_init4 ffffffff8170c9d8 t __initcall_acpi_pci_link_init4 ffffffff8170ca48 t __initcall_pci_subsys_init4 ffffffff8170caf0 t __initcall_pcibios_assign_resources5 ffffffff8170cb18 t __initcall_pci_apply_final_quirks5s ffffffff8170cb28 t __initcall_pci_iommu_initrootfs ffffffff8170ced0 t __initcall_pci_proc_init6 ffffffff8170ced8 t __initcall_pcie_portdrv_init6 ffffffff8170cfa8 t __initcall_serial8250_pci_init6 ffffffff8170cfd0 t __initcall_hsu_pci_init6 ffffffff8170d010 t __initcall_ide_scan_pcibus6 ffffffff8170d410 t __initcall_pci_resource_alignment_sysfs_init7 ffffffff8170d418 t __initcall_pci_sysfs_init7 ffffffff8170d440 t __initcall_pci_mmcfg_late_insert_resources7 这些都是在kernel启动过程中会执行的pci相关函数，有些明显不是通用的可以忽略整个扫描流程分为两部分扫描设备和分配资源 3.2.1.1 扫描设备从主桥开始扫 pcibios_scan_root(0)

pci_scan_bus_parented() pci_scan_child_bus() for (devfn = 0; devfn < 0x100; devfn += 8) pci_scan_slot(bus, devfn); 前面有说一个总线下支持32个dev，每个dev支持8个fn，这里就是扫描总线下所有的dev 所有的dev有普通pci设备，还有pci桥 pci桥会扩展出另一个总线号，其下可能挂有其他设备，所以还需要扫描找到的pci桥 pci_scan_single_device() pci_scan_device() pci_setup_device() pci_read_irq() pci_read_bases() __pci_read_base() pci_size() 获取pci设备信息，中断号，内存映射区域大小和地址等等 pci_device_add() list_add_tail(&dev->bus_list, &bus->devices) 扫到的设备全存放在 bus->devices链表中，后面会有很多扫描依赖这个链表常见的比如： list_for_each_entry(dev, &bus->devices, bus_list) 就是循环该bus下所有pci设备 pci_scan_bridge() pci_find_bus() pci_add_new_bus() 桥扩展出来的总线给一个新的总线号 pci_scan_child_bus() 递归扫描新扫到的pci桥这样是扫描到桥就往深处走，称深度优先扫描，将所有的pci设备扫描完毕，并获取内存映射区域信息

3.2.1.2 分配资源从主桥开始 __pci_bus_assign_resources()

pbus_assign_resources_sorted() __dev_sort_resources() pdev_sort_resources() pci_resource_alignment() resource_alignment() resource_size() 将bus下所有dev所需要占用的资源都放入一个链表上--head __assign_resources_sorted() assign_requested_resources_sorted() resource_size() pci_assign_resource() pci_resource_alignment() __pci_assign_resource() pci_bus_alloc_resource()

### allocate a resource from a parent bus

从bus所含资源中给链表head上所注明资源分配空间 >>> allocate_resource() >>> find_resource() 在制定范围内寻找合适的空间[min, max] min = (res->flags & IORESOURCE_IO) ? PCIBIOS_MIN_IO : PCIBIOS_MIN_MEM; max = PCIBIOS_MAX_MEM_32; 匹配方式可看resource_clip(),移动最小匹配 >>> __request_resource() 分配 >>> request_resource_conflict() ### request and reserve an I/O or memory resource >>> __request_resource() >>> pci_update_resource() >>> pci_resource_bar() 更新配置空间 >>> adjust_resources_sorted() >>>

__pci_bus_assign_resources()

recursion

pci_setup_bridge() 更新桥的配置空间，桥所包含地址范围 __pci_setup_bridge() pci_setup_bridge_io() res = bus->resource[0] pcibios_resource_to_bus(bridge, &region, res)

### write to io base and limit
    >>> pci_setup_bridge_mmio()
        >>>  res = bus->resource[1]
        >>> pcibios_resource_to_bus(bridge, ®ion, res)
         ### write to mem base and limit
    >>> pci_setup_bridge_mmio_pref()
         >>> res = bus->resource[2]
        >>>  pcibios_resource_to_bus(bridge, ®ion, res)
        ###  write to pref mem base and limit

下面只是列出较具体流程，代码就不贴了 3.2.2 pci_reboot_init

dmi_check_system(pci_reboot_dmi_table) 只有apple相关产品会做一些修正，不关心

3.2.3 pcibus_class_init

class_register(&pcibus_class) release_pcibus_dev() pci_bus_remove_resources() 注册pci class

3.2.4 pci_driver_init()

bus_register(&pci_bus_type) bus_register(&pci_bus_type) pci_bus_match() pci_match_device() pci_match_id() pci_match_one_device()

### id->vendor == dev->vendor, id->device == dev->device
    >>> pci_uevent()
        >>> add_uevent_var()
        ### add key value string to the environment buffer
    >>> pci_device_probe()
        >>> pci_match_device()
        >>> pci_call_probe()
            >>> local_pci_probe()
                >>> ddi->drv->probe(ddi->dev, ddi->id)
    >>> pci_device_remove()
        >>> drv->remove(pci_dev)
    >>> pci_device_shutdown()
        >>> drv->shutdown(pci_dev)
        >>> pci_msi_shutdown(pci_dev)
        >>> pci_msix_shutdown(pci_dev)
    >>> pci_dev_attrs
    >>> pci_bus_attrs
        >>> bus_rescan_store()
            >>> b = pci_find_next_bus()
            >>> pci_rescan_bus(b)

注册pci驱动，但是这里注意 pci_rescan_bus(b)在pci hotplug中是很有用的，另一篇文章有提到

3.2.5 acpi_pci_init() 从ACPI获取信息，ACPI还是很复杂的，可以简单看作一堆表示系统相关信息的表

3.2.6 pci_arch_init()

pci_direct_probe() request_region(0xCF8, 8, "PCI conf1") 这里就是保留io总线访问配置空间的资源，0xCF8 0xCFC pci_mmcfg_early_init() __pci_mmcfg_init() acpi_sfi_table_parse(ACPI_SIG_MCFG, pci_parse_mcfg)

### mmconfig address is coming from ACPI table

MMCONFIG对于访问pcie设备配置空间很有作用，因为PCI的配置空间是256，而PCIE的配置空间是4K，多出的部分io总线访问不了，需要mmconfig进行访问 >>> pci_parse_mcfg() >>> pci_mmconfig_add() >>> pci_mmcfg_reject_broken() >>> is_mmconf_reserved() >>> pci_mmcfg_arch_init()

x86_init.pci.arch_init() pci_acpi_init()

### about pci irq

pci_pcbios_init() >>> pci_find_bios()

### find BIOS32 0xe0000 - 0xfffff

pci_direct_init()

###  raw_pci_ops = &pci_direct_conf1

dmi_check_pciprobe() dmi_check_skip_isa_align()

3.2.7 pci_slot_init()

pci_slots_kset = kset_create_and_add("slots", NULL, &pci_bus_kset->kobj)

3.2.8 acpi_pci_root_init()

acpi_hest_init() pci_acpi_crs_quirks() acpi_bus_register_driver(&acpi_pci_root_driver)

about irq

3.2.9 acpi_pci_link_init()

acpi_bus_register_driver(&acpi_pci_link_driver)

about irq

3.2.10 pci_subsys_init()

pci_legacy_init() pci_root_bus = pcibios_scan_root(0) bus = pci_scan_bus_parented(NULL, busnum, &pci_root_ops, sd) b = pci_create_bus(parent, bus, ops, sysdata) b->subordinate = pci_scan_child_bus(b)

### ...
>>> pci_bus_add_devices(pci_root_bus)
    >>> pci_bus_add_device()
    ### insert newly discovered PCI devices
    >>> pci_bus_add_child()
    ### add a child bus

pcibios_fixup_peer_bridges() x86_init.pci.init_irq() pcibios_init() pcibios_resource_survey() pcibios_allocate_bus_resources()

### for PCI_BRIDGE_RESOURCES, for bridge
        >>> pci_claim_resource()
            >>> pci_find_parent_resource()
            >>> request_resource_conflict()
                >>> __request_resource()
        >>> pcibios_allocate_bus_resources()
        ### recursion
    >>> pcibios_allocate_resources()
    ### from  PCI_STD_RESOURCES to PCI_STD_RESOURCE_END
        >>>  pci_claim_resource()
    >>>  e820_reserve_resources_late()
    >>> ioapic_insert_resources()
        >>> insert_resource(&iomem_resource, ioapic_resources)

3.2.11 pcibios_assign_resources()

pci_assign_unassigned_resources() __pci_bus_size_bridges() __pci_bus_size_bridges() pci_bridge_check_ranges() pbus_size_io() pbus_size_mem() __pci_bus_assign_resources() pbus_assign_resources_sorted() __pci_bus_assign_resources() pci_setup_bridge() __pci_setup_bridge() pci_setup_bridge_io() pci_setup_bridge_mmio() pci_setup_bridge_mmio_pref() pci_enable_bridges() pci_bus_dump_resources()

3.3 kernel扫描关键的四个函数 3.3.1 pci_scan_child_bus()

pci_scan_slot()

scan a PCI slot on a bus for devices

>>> pci_scan_single_device()
    >>>  pci_get_slot()
    ### check devfn is exist or not under bus
    >>>  pci_scan_device()
    ### check VID and DID to decide devfn is exist or not
        >>> alloc_pci_dev()
        >>> pci_setup_device()
            >>> pci_fixup_device(pci_fixup_early, dev)
            ### do early fixup here
            >>> pci_read_bases()
            ### read pci bar 0 - 5
                >>> __pci_read_base()
                ### read a pci bar for region and size
    >>>  pci_device_add()
        >>>  pci_fixup_device(pci_fixup_header, dev)
        >>> list_add_tail(&dev->bus_list, &bus->devices)
        ### scan all devices under one bus, then add them (dev->bus_list) to bus->devices

pci_iov_bus_range() pcibios_fixup_bus() pci_read_bridge_bases() pci_bus_remove_resources(child) pci_read_bridge_io(child) pci_read_bridge_mmio(child) pci_read_bridge_mmio_pref(child) pci_bus_add_resource() pci_scan_bridge()

find a bridge, then want to find bus under the bridge in system.

>>> pci_find_bus()
### find the bus
    >>> pci_do_find_bus()
        >>> pci_do_find_bus()
        ### recursion
>>> pci_add_new_bus()
### do not find the bus, so add a new one
>>> pci_scan_child_bus()
###  recursion
>>>  pci_fixup_parent_subordinate_busnr()

3.3.2 pci_bus_add_devices()

pci_bus_add_device() pci_bus_add_devices()

recursion

pci_bus_add_child()

3.3.3 __pci_bus_size_bridges()

if it is bridge, recursion

__pci_bus_size_bridges()

for bridge

pci_bridge_check_ranges()

check support 64bit or not

pbus_size_io()

calc io resource of all devices under this bus

pbus_size_mem()

calc mem resource of all devices under this bus

3.3.4 __pci_bus_assign_resources()

pbus_assign_resources_sorted() __dev_sort_resources() pdev_sort_resources() pci_resource_alignment() resource_alignment() resource_size() __assign_resources_sorted() assign_requested_resources_sorted() resource_size() pci_assign_resource() pci_resource_alignment() __pci_assign_resource() pci_bus_alloc_resource()

### allocate a resource from a parent bus
                    >>> allocate_resource()
                        >>> find_resource()
                        >>> __request_resource()
                >>> request_resource_conflict()
                    ### request and reserve an I/O or memory resource
                    >>> __request_resource()
                >>> pci_update_resource()
                    >>> pci_resource_bar()
    >>> adjust_resources_sorted()
        >>>

__pci_bus_assign_resources()

recursion

pci_setup_bridge() __pci_setup_bridge() pci_setup_bridge_io() res = bus->resource[0] pcibios_resource_to_bus(bridge, &region, res)

### write to io base and limit
    >>> pci_setup_bridge_mmio()
        >>>  res = bus->resource[1]
        >>> pcibios_resource_to_bus(bridge, ®ion, res)
         ### write to mem base and limit
    >>> pci_setup_bridge_mmio_pref()
         >>> res = bus->resource[2]
        >>>  pcibios_resource_to_bus(bridge, ®ion, res)
        ###  write to pref mem base and limit

总结 linux pci 扫描流程 a. BIOS先扫描，但是扫描的结果可能不能直接用。 b. linux kernel扫描分两步，扫描设备和分配资源。 c. 扫描设备会从主桥开始，按照深度优先方式扫描所有设备，如果遇到一个桥设备则扩展一个总线号，并对该总线进行扫描。 d. 扫描会获取pci总线拓扑和各个设备所需要的资源信息。 e. 分配资源也从主桥开始，按照深度优先方式扫描所有设备，并按需为设备分配资源和更新配置信息。 f. 桥根据其下设备所分配的资源更新配置范围，以供pci总线路由。 g. x86域的地址资源和pci域的地址资源是对等映射，所以分配需考虑到两者不能冲突。