Тестирование NVMe over Fabric (NVMe-oF) проводилось на виртуализированной среде с использованием утилиты CrystalDiskMark. В качестве целевой системы использовался сервер Dell R640 с NVMe дисками, виртуализированными через ESXi и SPDK. Клиентская система была построена на аналогичном сервере с NVMe-oF подключениями.
Результаты тестов показали, что NVMe over RDMA обеспечивает более высокую производительность, чем NVMe over TCP. При использовании нескольких путей (multipath) NVMe-oF и Round Robin для переключения между путями, наилучшие результаты достигаются при переключении на каждый IOPS (вместо 1000 IOPS по умолчанию). Отключение TCP-путей и использование только RDMA-путей еще больше увеличивает производительность. Важно отметить, что при использовании NVMe-oF в виртуализированной среде RDMA требует дополнительной настройки.
Интересно, что в большинстве тестов производительность оказалась выше паспортных данных диска, особенно в операциях случайной записи, что вызвало вопросы у автора статьи. Также были проведены тесты с увеличением размера блока, что показало увеличение скорости, и тесты с iSCSI, что продемонстрировало выгоду от использования multipath. В целом, NVMe-oF через RDMA показал более высокую производительность, чем TCP, но требует более сложной настройки. NVMe over TCP более универсален и прост в настройке.
Изображение носит иллюстративный характер
Результаты тестов показали, что NVMe over RDMA обеспечивает более высокую производительность, чем NVMe over TCP. При использовании нескольких путей (multipath) NVMe-oF и Round Robin для переключения между путями, наилучшие результаты достигаются при переключении на каждый IOPS (вместо 1000 IOPS по умолчанию). Отключение TCP-путей и использование только RDMA-путей еще больше увеличивает производительность. Важно отметить, что при использовании NVMe-oF в виртуализированной среде RDMA требует дополнительной настройки.
Интересно, что в большинстве тестов производительность оказалась выше паспортных данных диска, особенно в операциях случайной записи, что вызвало вопросы у автора статьи. Также были проведены тесты с увеличением размера блока, что показало увеличение скорости, и тесты с iSCSI, что продемонстрировало выгоду от использования multipath. В целом, NVMe-oF через RDMA показал более высокую производительность, чем TCP, но требует более сложной настройки. NVMe over TCP более универсален и прост в настройке.
