NVMe/TCP

Источники:
https://nvmexpress.org/welcome-nvme-tcp-to-the-nvme-of-family-of-transports/
https://searchstorage.techtarget.com/feature/NVMe-over-TCP-details-and-features-you-need-to-know

Обзор NVMe поверх TCP

Редакция спецификации NVMe-oF 1.1, включает поддержку транспортной привязки TCP. Добавление NVMe поверх TCP (NVMe/TCP) позволяет использовать NVMe-oF в стандартной сети Ethernet. Отпадает необходимость изменения конфигурации или использования специального оборудования.

Транспортная привязка TCP в NVMe-oF определяет методологию, используемую для инкапсуляции и доставки данных между хостом и подсистемой NVMe. Cпецификация NVMe/TCP ориентирована, главным образом, на программные реализации, использующие интерфейсы приложений TCP. Но спецификация не исключает использование NVMe/TCP для аппаратных реализаций.

Поскольку для NVMe/TCP используются совершенно стандартные TCP/IP соединения. Вместе с ними привносятся все дополнительные задержки и операции, присущие TCP/IP. Ради использования повсеместно распространенного TCP/IP и отсутствия затрат на оборудование приходится жертвовать скоростью. Теряются преимущества NVMe, так долго и трудно добывавшиеся RDMA сообществом — сокращение обрабатывающего стека, «спрямление» пути следования данных.
Предварительные оценки показывают, что увеличение задержки NVMe/TCP по сравнению с NVMe-oF на основе RDMA может составить от 10 до 80 микросекунд. Это на каждой операции. Понятно, что скорость передачи NVMe/TCP канала будет определяться скоростью используемого TCP/IP соединения. Чудес не бывает.

Насколько критично некоторое снижение производительности при использовании NVMe/TCP по сравнению с другими транспортными протоколами?
Эти скорости могут быть неприемлемыми для определенных рабочих нагрузок, на которые нацелен протокол NVMe. В то же время, они могут быть вполне допустимыми для массы других применений.

Тесты производительности

От теории перейдем к практике.
https://www.nvmedeveloperdays.com/English/Collaterals/Proceedings/2018/20181205_NETW-101_Dugan.pdf
Презентация с NVMe Developer Days 2018 компании Chelsio Communications. Компания разрабатывает и производит высокопроизводительные сетевые адаптеры. Chelsio представлявшая ускорители для iWARP расширяет линию аппаратными ускорителями NVMe/TOE (так они называют NVMe/TCP).

Схема тестового стенда Chelsio для замера производительности.
В обоих случаях (iWARP или NVMe/TOE) в инициатор- и таргет-компьютерах в качестве сетевых адаптеров использовались Chelsio T62100-CR (2 x 100Gbps)

На слайде ниже представлена дополнительная задержка (разница между задержкой при прямом и удаленном подключении NVMe накопителя). Тесты проводились с несколькими вариантами драйверов — iWARP или NVMe/TOE, драйверы ядра ОС (kernel) или SPDK.
При прочих равных, подтверждаются оценочные накладные расходы на NVMe/TCP «от 10 микросекунд» — это при очень простой схеме инициатор-коммутатор-таргет.

Chelsio проводит много тестов производительности систем и компонентов, которые можно использовать для предварительных оценок. Все они размещаются на сайте. Отчеты замечательны тем, что в них приводится детальная инструкция по настройке оборудования.

Поставщики готовы к NVMe/TCP

Производители готовы поставлять компоненты и решения на базе NVMe/TCP.
— Упоминавшаяся уже Chelsio Communications предлагает сетевые адаптеры на скорости до 100 Гб/с.
— Mellanox в пресс-релизе указал на совместимость с NVMe/TCP сетевых адаптеров и коммутаторов, работающих на скоростях до 200 Гб/с. Теперь сетевые адаптеры ConnectX Mellanox одновременно поддерживают оба протокола NVMe-oF — и TCP и RoCE. Это позволяет внедрять NVMe платформы, работающие по TCP и RoCE.
Ряд поставщиков уже предлагает решения на NVMe/TCP в своих предложениях. В частности, LightbitsLabs.com и Solarflare Communications Inc.
— Платформа хранения Lightbits включает NVMe/TCP в составное блочное хранилище, которое может быть реализовано без ущерба для сетевой инфраструктуры или клиентов центра обработки данных.
— Solarflare также предлагает композитное хранилище на основе NVMe/TCP. Оно позволяет центрам обработки данных использовать существующие сетевые инфраструктуры. Поставщик работает с SuperMicro Computer Inc. В решениях используются системы Supermicro Ultra SuperServer и TCP-оптимизированные сетевые карты Solarflare.

Вернитесь в раздел Сеть NVMe-oF или перейдите в интересующий Вас раздел через основное меню