нужна помощь в осознании RDMA
какой алгоритм работы ceph over rdma?
на сколько я понимаю ceph через libxio исползует rdma.
правильно я понимаю?
ceph пишет - RDMA support: There is now experimental support the RDMA via the Accelio (libxio) library.
далее
ceph-0.94.2 # ./configure --help
`configure' configures ceph 0.94.2 to adapt to many kinds of systems.
--enable-xio build Ceph Accelio transport
добавил в оверлей, скомпилировал тот настойчиво попросил namactl
проверка:
на одной ноде
filo_server1 accelio-1.4 # xio_ow_server 10.0.0.1 -p 1234 -r rdma -n=0 -w 4096
=============================================
Server Address : 10.0.0.1
Server Port : 1234
Transport : rdma
Header Length : 0
Data Length : 4096
CPU Affinity : 0
Finite run : 0
=============================================
libnuma: Warning: /sys not mounted or invalid. Assuming one node: No such file or directory
listen to rdma://10.0.0.1:1234
**** [0x9cf11d8] on_new_session :10.0.0.3:33578
session event: new connection. session:0x9cf11d8, connection:0x9cf1348, reason: Success
**** message [4000000] (null) - (null)
**** message [8000000] (null) - (null)
**** message [12000000] (null) - (null)
**** message [16000000] (null) - (null)
на второй
filo_server2 bin # xio_ow_client 10.0.0.1 -p 1234 -r rdma -n=0 -w 4096
=============================================
Server Address : 10.0.0.1
Server Port : 1234
Transport : rdma
Header Length : 0
Data Length : 4096
Connection Index : 0
CPU Affinity : 0
Finite run : 0
=============================================
libnuma: Warning: /sys not mounted or invalid. Assuming one node: No such file or directory
**** starting ...
**** [0x8292af8] session established
session event: connection established. reason: Success
transactions per second: 316862, bandwidth: TX 0.00 MB/s, length: TX: 1083397880 B
transactions per second: 316809, bandwidth: TX 0.00 MB/s, length: TX: 1083397668 B
transactions per second: 316946, bandwidth: TX 0.00 MB/s, length: TX: 1083398216 B
transactions per second: 316883, bandwidth: TX 0.00 MB/s, length: TX: 1083397964 B
transactions per second: 316920, bandwidth: TX 0.00 MB/s, length: TX: 1083398112 B
transactions per second: 316913, bandwidth: TX 0.00 MB/s, length: TX: 1083398084 B
transactions per second: 316913, bandwidth: TX 0.00 MB/s, length: TX: 1083398084 B
transactions per second: 317148, bandwidth: TX 0.00 MB/s, length: TX: 1083399024 B
transactions per second: 317032, bandwidth: TX 0.00 MB/s, length: TX: 1083398560 B
transactions per second: 317132, bandwidth: TX 0.00 MB/s, length: TX: 1083398960 B
transactions per second: 317193, bandwidth: TX 0.00 MB/s, length: TX: 1083399204 B
transactions per second: 317179, bandwidth: TX 0.00 MB/s, length: TX: 1083399148 B
transactions per second: 317129, bandwidth: TX 0.00 MB/s, length: TX: 1083398948 B
transactions per second: 317192, bandwidth: TX 0.00 MB/s, length: TX: 1083399200 B
transactions per second: 317079, bandwidth: TX 0.00 MB/s, length: TX: 1083398748 B
transactions per second: 317110, bandwidth: TX 0.00 MB/s, length: TX: 1083398872 B
transactions per second: 317135, bandwidth: TX 0.00 MB/s, length: TX: 1083398972 B
transactions per second: 317187, bandwidth: TX 0.00 MB/s, length: TX: 1083399180 B
transactions per second: 317232, bandwidth: TX 0.00 MB/s, length: TX: 1083399360 B
явно не работает, увидел то что не нравится нума, почему - непонятно. (то что нету поддержки в камне ясно)
вот тут циферки есть по IO - https://www.cohortfs.com/sites/default/files/ceph%20day-boston-2014-06-10-matt-benjamin-cohortfs-mlx-xio-v5ez.pdf
http://downloads.openfabrics.org/downloads/Media/Monterey_2014/Monday/pdf/15_Accelio.pdf
- Для комментирования войдите или зарегистрируйтесь
.
В теме не шарю, однако...
Не в этом ли дело?
скорее всего нет, поддержки
скорее всего нет, поддержки нумы в процессоре нету, мне нужна rdma а это другая история