[solved] infiniband rdma

Приветствую комрады, созрел вопрос по поддержке RDMA в генту
есть ноды которые подключены к свичу, IPoIB выключен, интерфейсы ib{0,1} выключены на первой ноде врубаю
ib_write_bw -d mlx4_0 -i 1 -a --report_gbits
на второй
ib_write_bw filo_server1 -a

вывод первой ноды

************************************
* Waiting for client to connect... *
************************************
---------------------------------------------------------------------------------------
                    RDMA_Write BW Test
 Dual-port       : OFF		Device         : mlx4_0
 Number of qps   : 1		Transport type : IB
 Connection type : RC		Using SRQ      : OFF
 CQ Moderation   : 100
 Mtu             : 4096[B]
 Link type       : IB
 Max inline data : 0[B]
 rdma_cm QPs	 : OFF
 Data ex. method : Ethernet
---------------------------------------------------------------------------------------
---------------------------------------------------------------------------------------
 #bytes     #iterations    BW peak[Gb/sec]    BW average[Gb/sec]   MsgRate[Mpps]
 8388608    5000           1635.89            1635.87		   0.000204
---------------------------------------------------------------------------------------

вывод второй

---------------------------------------------------------------------------------------
                    RDMA_Write BW Test
 Dual-port       : OFF		Device         : mlx4_0
 Number of qps   : 1		Transport type : IB
 Connection type : RC		Using SRQ      : OFF
 TX depth        : 128
 CQ Moderation   : 100
 Mtu             : 4096[B]
 Link type       : IB
 Max inline data : 0[B]
 rdma_cm QPs	 : OFF
 Data ex. method : Ethernet
---------------------------------------------------------------------------------------
---------------------------------------------------------------------------------------
 #bytes     #iterations    BW peak[MB/sec]    BW average[MB/sec]   MsgRate[Mpps]
 2          5000           23.75              23.04  		   12.081115
 4          5000           47.87              46.28  		   12.132960
 8          5000           95.73              93.39  		   12.240574
 16         5000           189.30             185.46 		   12.154553
 32         5000           380.03             370.33 		   12.135030
 64         5000           757.20             729.48 		   11.951880
 128        5000           1464.84            1412.23		   11.569010
 256        5000           1634.21            1632.30		   6.685890
 512        5000           1634.21            1633.07		   3.344528
 1024       5000           1635.04            1634.65		   1.673884
 2048       5000           1635.45            1635.19		   0.837216
 4096       5000           1635.45            1635.44		   0.418674
 8192       5000           1635.66            1635.04		   0.209285
 16384      5000           1635.81            1635.81		   0.104692
 32768      5000           1635.89            1635.87		   0.052348
 65536      5000           1635.91            1635.90		   0.026174
 131072     5000           1635.92            1635.91		   0.013087
 262144     5000           1635.90            1635.88		   0.006544
 524288     5000           1635.89            1635.87		   0.003272
 1048576    5000           1635.88            1635.83		   0.001636
 2097152    5000           1635.89            1635.89		   0.000818
 4194304    5000           1635.91            1635.88		   0.000409
 8388608    5000           1635.89            1635.87		   0.000204
---------------------------------------------------------------------------------------

Вопрос:
1. Не работает тест RDMA. Если добавляю аргумент -R тупо висит пока не отключу тест. (-R, --rdma_cm Connect QPs with rdma_cm and run test on those QPs)
если без -R то как видно из вывода rdma_cm отключен.
2. Если есть решение как гонять по rdma данные в ceph буду признателен.
3. Шлепнога тут бывает?

для rdma_cm нужно CM, что при выключенном ipoib невозможно.
тему закрыл