Description

This article provides steps to check which NUMA the Virtual Function interface is associated with and what CPU"s are part of the same NUMA.

Symptoms

vSRX will not work across NUMA CPU's

Solution

Run the lstopo command on the server as below.

 

From the below output we can see that the virtual function interface "ens1f0v2" is associated with Numa node 0,  NUMANode L#0 (P#0 94GB).

 

Now check the CPU's associated with NUMA node 0,

 

From the below output we can see that 12 cores are associated from 1 socket (Server has total 2 sockets). 

 

The output shows core# 0 is the first core in NUMA 0 and core 0 has 2 hyperthread CPU’s associated with number (P#0) and (P#24). 

 

root@kvm-server:~# lstopo
Machine (189GB total)
  Package L#0
    NUMANode L#0 (P#0 94GB)
    L3 L#0 (30MB)
      L2 L#0 (256KB) + L1d L#0 (32KB) + L1i L#0 (32KB) + Core L#0
        PU L#0 (P#0)
        PU L#1 (P#24)
      L2 L#1 (256KB) + L1d L#1 (32KB) + L1i L#1 (32KB) + Core L#1
        PU L#2 (P#1)
        PU L#3 (P#25)
      L2 L#2 (256KB) + L1d L#2 (32KB) + L1i L#2 (32KB) + Core L#2
        PU L#4 (P#2)
        PU L#5 (P#26)
      L2 L#3 (256KB) + L1d L#3 (32KB) + L1i L#3 (32KB) + Core L#3
        PU L#6 (P#3)
        PU L#7 (P#27)
      L2 L#4 (256KB) + L1d L#4 (32KB) + L1i L#4 (32KB) + Core L#4
        PU L#8 (P#4)
        PU L#9 (P#28)
      L2 L#5 (256KB) + L1d L#5 (32KB) + L1i L#5 (32KB) + Core L#5
        PU L#10 (P#5)
        PU L#11 (P#29)
      L2 L#6 (256KB) + L1d L#6 (32KB) + L1i L#6 (32KB) + Core L#6
        PU L#12 (P#6)
        PU L#13 (P#30)
      L2 L#7 (256KB) + L1d L#7 (32KB) + L1i L#7 (32KB) + Core L#7
        PU L#14 (P#7)
        PU L#15 (P#31)
      L2 L#8 (256KB) + L1d L#8 (32KB) + L1i L#8 (32KB) + Core L#8
        PU L#16 (P#8)
        PU L#17 (P#32)
      L2 L#9 (256KB) + L1d L#9 (32KB) + L1i L#9 (32KB) + Core L#9
        PU L#18 (P#9)
        PU L#19 (P#33)
      L2 L#10 (256KB) + L1d L#10 (32KB) + L1i L#10 (32KB) + Core L#10
        PU L#20 (P#10)
        PU L#21 (P#34)
      L2 L#11 (256KB) + L1d L#11 (32KB) + L1i L#11 (32KB) + Core L#11
        PU L#22 (P#11)
        PU L#23 (P#35)
    HostBridge
      PCIBridge
        PCI 07:00.0 (Ethernet)
          Net "eno49"
        PCI 07:00.1 (Ethernet)
          Net "eno50"
      PCIBridge
        PCI 03:00.0 (Ethernet)
          Net "ens1f0"
        PCI 03:00.1 (Ethernet)
          Net "ens1f1"
        4 x { PCI 03:10.0-3 (Ethernet) }
        PCI 03:10.4 (Ethernet)
          Net "ens1f0v2"<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<Interface listed under NUMA 0
        PCI 03:10.5 (Ethernet)
          Net "ens1f1v2"
        PCI 03:10.6 (Ethernet)
          Net "ens1f0v3"
        PCI 03:10.7 (Ethernet)
          Net "ens1f1v3"
        PCI 03:11.0 (Ethernet)
          Net "ens1f0v4"
        PCI 03:11.1 (Ethernet)
          Net "ens1f1v4"
        PCI 03:11.2 (Ethernet)
          Net "ens1f0v5"
        PCI 03:11.3 (Ethernet)
          Net "ens1f1v5"
        PCI 03:11.4 (Ethernet)
          Net "ens1f0v6"
        PCI 03:11.5 (Ethernet)
          Net "ens1f1v6"
        PCI 03:11.6 (Ethernet)
          Net "ens1f0v7"
        PCI 03:11.7 (Ethernet)
          Net "ens1f1v7"
      PCIBridge
        PCI 01:00.1 (VGA)
      PCIBridge
        PCI 02:00.0 (Ethernet)
          Net "eno1"
        PCI 02:00.1 (Ethernet)
          Net "eno2"
      PCI 00:1f.2 (SATA)
        Block(Disk) "sdb"
        Block(Disk) "sdc"
        Block(Disk) "sda"
  Package L#1
    NUMANode L#1 (P#1 94GB)
    L3 L#1 (30MB)
      L2 L#12 (256KB) + L1d L#12 (32KB) + L1i L#12 (32KB) + Core L#12
        PU L#24 (P#12)
        PU L#25 (P#36)

Modification History

v1