blk-mq-sysfs.c生成了一些其他的nvme的统计项，
有多少个online的cpu，在驱动加载的时候会默认生成多少个队列，除非内存不足或者在保留内核中，则会减少。
[root@localhost mq]# ls
0 10 12 14 16 18 2 21 23 25 27 29 30 32 34 36 38 4 41 43 45 47 49 50 52 54 56 58 6 61 63 65 67 69 70 72 74 76 78 81 11 13 15 17 19 20 22 24 26 28 3 31 33 35 37 39 40 42 44 46 48 5 51 53 55 57 59 60 62 64 66 68 7 71 73 75 77 79 9随便进入一个队列，可以看到如下的打印：
[root@localhost mq]# cd 0[root@localhost 0]# lsactive cpu0 cpu_list dispatched pending queued run tags
比如我们要查看nvme3这个设备的io提交情况：
for i in {0..79} ;do echo $i"cpu";cat /sys/block/nvme3n1/mq/$i/dispatched|awk 'NR==2{print}';done
0cpu 1 3949561cpu 1 3748172cpu 1 3318033cpu 1 3052504cpu 1 3152515cpu 1 3114346cpu 1 3042367cpu 1 1180365-----------------可以看到，这个值比其他的队列偏高8cpu 1 3178169cpu 1 32403910cpu 1 30169611cpu 1 30817512cpu 1 30801113cpu 1 31111714cpu 1 30273015cpu 1 30769716cpu 1 31081417cpu 1 30311318cpu 1 30417619cpu 1 29100320cpu 1 42920621cpu 1 39561222cpu 1 35265823cpu 1 32492624cpu 1 32288825cpu 1 31786726cpu 1 30774927cpu 1 31803828cpu 1 31522029cpu 1 31690230cpu 1 31455331cpu 1 32775032cpu 1 32368933cpu 1 31098634cpu 1 31929135cpu 1 31365236cpu 1 32924237cpu 1 31813138cpu 1 31464939cpu 1 31782840cpu 1 30426241cpu 1 27145442cpu 1 23308343cpu 1 22509044cpu 1 21684145cpu 1 20471846cpu 1 21018247cpu 1 20897148cpu 1 20056749cpu 1 21608550cpu 1 20520751cpu 1 20630952cpu 1 22556253cpu 1 20623054cpu 1 20544555cpu 1 21291056cpu 1 22343957cpu 1 21881958cpu 1 20121859cpu 1 21353660cpu 1 32356161cpu 1 29533362cpu 1 25641263cpu 1 23210464cpu 1 22246765cpu 1 21644066cpu 1 22364567cpu 1 22262668cpu 1 22389569cpu 1 21832070cpu 1 22190171cpu 1 22903472cpu 1 22754873cpu 1 21918774cpu 1 21621275cpu 1 20730276cpu 1 22748277cpu 1 21395078cpu 1 20907279cpu 1 219765
由于我们是一个核一个队列，且按照nvme的io提交策略，在那个cpu上提交的io，在配置了rq_affinity为2的情况下，则肯定在那个cpu
上完成，这样的话，偏高的那个cpu的iowait将会比其他的盘要高，因为它接受的提交次数最多。
对于应用来说，一般使用nvme的时候都进行了绑核，这样，找出对应绑核的线程，可以strace出它为什么提交的io次数偏多。
0cpu 13949561cpu 13748172cpu 13318033cpu 13052504cpu 13152515cpu 13114346cpu 13042367cpu 111803658cpu 13178169cpu 132403910cpu 130169611cpu 130817512cpu 130801113cpu 131111714cpu 130273015cpu 130769716cpu 131081417cpu 130311318cpu 130417619cpu 129100320cpu 142920621cpu 139561222cpu 135265823cpu 132492624cpu 132288825cpu 131786726cpu 130774927cpu 131803828cpu 131522029cpu 131690230cpu 131455331cpu 132775032cpu 132368933cpu 131098634cpu 131929135cpu 131365236cpu 132924237cpu 131813138cpu 131464939cpu 131782840cpu 130426241cpu 127145442cpu 123308343cpu 122509044cpu 121684145cpu 120471846cpu 121018247cpu 120897148cpu 120056749cpu 121608550cpu 120520751cpu 120630952cpu 122556253cpu 120623054cpu 120544555cpu 121291056cpu 122343957cpu 121881958cpu 120121859cpu 121353660cpu 132356161cpu 129533362cpu 125641263cpu 123210464cpu 122246765cpu 121644066cpu 122364567cpu 122262668cpu 122389569cpu 121832070cpu 122190171cpu 122903472cpu 122754873cpu 121918774cpu 121621275cpu 120730276cpu 122748277cpu 121395078cpu 120907279cpu 1219765