Mellanox BlueField SmartNIC

Интеллектуальный сетевой адаптер, которые еще называют SmartNIC, вышел под именем BlueField в компании Mellanox в 2018. Краткое описание: https://www.mellanox.com/products/BlueField-SmartNIC-Ethernet.

SmartNIC Mellanox BlueField 1500 Ethernet 25GbE

Обзор Mellanox BlueField

Mellanox интегрировала сетевые контроллеры ConnectX®-5 с микрокомпьютером на базе процессора Arm в единую высокопроизводительную платформу, или «систему в чипе» (system-on-chip, SoC). В BlueField 1 входят адаптеры сери1 1500 и 1600.
Система состоит из 1..2-канального сетевого адаптера со скоростью передачи 25Гб/с или 100Гб/с, 8- или 16-ядерного процессора Armv8 с ядром A72 и 8/16ГБ оперативной памяти DDR4 DRAM с коррекцией ошибок ECC. Опционально докупается лицензия NVMe SNAP (Software-defined Network Accelerated Processing), добавляющая аппаратную виртуализацию NVMe хранилища.
Хост-интерфейс — 8 или 16 линий PCIe Gen 3.0/4.0. Контроллеры могут работать в слоте с 4, 2 и даже 1 линией PCI.

Аппаратное ускорение

BlueField SmartNIC поддерживают аппаратное ускорение коммуникаций с помощью прямого доступа к памяти PeerDirect RDMA (GPUDirect).
Также аппаратно ускоряются следующие транспортные и интерфейсные протоколы:
– RDMA over Converged Ethernet (RoCE)
– TCP/UDP/IP stateless
– LSO, LRO, checksum
– RSS (также с инкапсулированными пакетами), TSS, HDS,
VLAN insertion/stripping, Receive Flow Steering
– Intelligent interrupt coalescence
– TCP/UDP, MPLS, VxLAN, NVGRE, GENEVE
– SRP, iSER, NFS RDMA, SMB Direct, NVMe-oF
В области виртуализации, контроллеры имеют аппаратную поддержку SR-IOV, поддерживают множественные запросы от виртуальных машин.

Встроенное ПО

«Микрокомпьютерная» составляющая контроллеров имеет свою операционную систему, набор драйверов и утилит — как у полноценного компьютера:
– BlueOS: коммерческая версия дистрибутива Yocto-based Arm Linux
– Поддержка коммерческих дистрибутивов Linux
– Окружение производится с использованием OpenFabrics Enterprise Distribution
(OFED)
– Arm-адаптированные версии драйверов Mellanox и программного стека
– Ускоренный стек таргета NVMe over Fabrics
– Оптимизированные Arm DPDK и ConnectX PMD
– NVMe SNAP framework (Software-defined Network Accelerated Processing. Необходима лицензия).

BlueField SmartNIC могут работать под управлением всех распространенных операционных систем:
– Linux
– Windows
– FreeBSD
– VMware
– OpenFabrics Enterprise Distribution (OFED)
– OpenFabrics Windows Distribution (WinOF-2).

Область применения Mellanox BlueField

Очевидно использование BlueField SmartNIC для строительства высокоэффективной скоростной сетевой инфраструктуры под тот или иной транспортный и интерфейсный протокол. BlueField на аппаратном уровне разгружают центральный процессор и ускоряют операции:
— шифрования/дешифрования для защищенных соединений с изоляцией каждой индивидуальной нагрузки с гибким управлением;
— широкий спектр специализированных средств для максимальной масштабируемости и эффективности виртуализации. Используется технология Mellanox ASAP;
— наличие драйверов инициатора и таргета в BlueField SmartNIC предоставляет эффективное решение для гиперконвергентных систем, позволяя центральному процессору сосредоточиться на вычислениях, в то время как все задачи хранения и сети обрабатываются через ядро сетевой карты на ядрах Arm.
— аппаратная разгрузка для NVMe over Fabrics (NVMe-oF). BlueField DPU объединяет все дискретные компоненты устройства системы хранения данных в одном чипе (ЦП, коммутатор PCIe и сетевой контроллер), что делает его лучшим решением для создания систем Just-a-Bunch-OfFlash (JBOF), All-Flash-массивов и устройства хранения для NVMe over Fabrics.

Модели и характеристики семейства Mellanox Bluefield контроллеров приведены ниже.

Ethernet адаптеры BlueField 1500 серии

Карты контроллеров BlueField 1500/1600 могут преобразовать существующие системы JBOF в решения, совместимые с NVMe-oF.
BF1500 должен быть подключен через коммутатор PCIe к SSD-устройствам.

МодельСкорость,
GbE
К-во
портов
PCIeПроцессорNVMe SNAPШифро-
вание
ОЗУФорм-
фактор
MBF1M332A-ASNAT252 x SFP28Gen3.0/4.0 x8G-Series
16 Cores
Armv8 A72
Опция *16GBHHHL
MBF1M332A-ASCAT252 x SFP28+16GB
MBF1M322A-ASNAT252 x SFP288GB
MBF1L516A-CSNAT1002 x QSFP28Gen3.0/4.0 x1616GBFHHL
MBF1L516A-CSCAT1002 x QSFP28+16GB
MBF1M332A-AENAT252 x SFP28Gen3.0/4.0 x8G-Series
8 Cores
Armv8 A72
16GBHHHL
MBF1M332A-AECAT252 x SFP28+16GB
* лицензия BF1-NVMESNAP-BNS-1 докупается отдельно

VPI адпатеры BlueField 1500 серии

Поддерживают как Ethernet протокол, так и InfiniBand.

BlueField 1500 VPI адаптер. Источник: NVIDIA
МодельМаксимальная скоростьПортыPCIПроцессорNVMe SNAPШифрованиеОЗУФорм-фактор
MBF1L516A-ESNAT100Gb/s

Поддержка FDR 56Gb/s — см. примечания к релизам ПО и микрокода
2 x QSFP28Gen4.0
x16
Совместимость
с x8, x4, x2, x1
G-Series
16 Cores
Armv8 A72
Опция+16GBFHHL
MBF1L516A-ESCAT

Ethernet адаптеры BlueField 1600 серии

BlueField 1600 Ethernet адаптер. Источник: NVIDIA

Адаптеры BlueField 1600 серии содержат 16GB eMMC flash memory для размещения программного обеспечения.

Оперативная память для встроенного микрокомпьютера устанавливается в стандартные слоты DRAM RDIMM (для некоторых моделей), поддерживается до 2x16GB DDR4 SODIMM.

Еще одной отличительной особенностью BlueField 1600 адаптеров является возможность расширения до PCIe Gen3.0 x32 благодаря вспомогательной карте расширения (примечание — ТОЛЬКО для PCIe Gen3.0).

Карты контроллеров BlueField 1500/1600 могут преобразовать существующие системы JBOF в решения, совместимые с NVMe-oF.
Контроллеры 1600 серии позволяют подключать до 16 NVMe SSDs без использования внешнего коммутатора.

BlueField 1600 Ethernet контроллеры не поддерживают шифрование

КодМаксимальная
скорость
ПортыPCIПроцессорОЗУФорм-
фактор
BF1600
MBF1M616A-CSNAT100GbE
поддержка
10/25/40/50/100GbE
2x QSFP28PCIe Gen3.0/4.0 x16E-Series
16 cores
Armv8 A72
2x 16GB DIMMFH¾L
MBF1M606A-CSNATPCIe Gen3.0/4.0 x16No DIMMFH¾L
MBF1M626A-CSNATPCIe Gen3.0 x16
+ расширение до x32
No DIMMFH¾L,
доп. слот PCI
MBF1M636A-CSNATPCIe Gen3.0 x16
+ расширение до x32
2x 16GB DIMMFH¾L,
доп. слот PCI
MBF1M646A-CSNATPCIe Gen4.0 x162x 8GB DIMMFH¾L
MBF1M656A-CSNATPCIe Gen3.0 x16
+ расширение до x32
2x 8GB DIMMFH¾L,
доп. слот PCI
BF1500
MBF1L516B-CSNAT100GbE
поддержка
10/25/40/50/100GbE
2x QSFP28PCIe Gen3.0/4.0 x16G-Series
16 cores
Armv8 A72
16GB on-board
DDR
FHHL

VPI адпатеры BlueField 1600 серии

Поддерживают как Ethernet протокол, так и InfiniBand.

BlueField 1600 VPI адаптер. Источник: NVIDIA

Адаптеры BlueField 1600 серии содержат 16GB eMMC flash memory для размещения программного обеспечения.

Оперативная память для встроенного микрокомпьютера установлена в стандартные слоты DRAM RDIMM — 2x16GB DDR4 SODIMM.

Еще одной отличительной особенностью BlueField 1600 адаптеров является возможность расширения до PCIe Gen3.0 x32 благодаря вспомогательной карте расширения (примечание — ТОЛЬКО для PCIe Gen3.0).

Карты контроллеров BlueField 1500/1600 могут преобразовать существующие системы JBOF в решения, совместимые с NVMe-oF.
Контроллеры 1600 серии позволяют подключать до 16 NVMe SSDs без использования внешнего коммутатора.

BlueField 1600 VPI контроллеры не поддерживают шифрование

КодМаксимальная
скорость
ПортыPCIПроцессорОЗУФорм-
фактор
MBF1M656A-ESNATEthernet:
10/25/40/50/100GbE
InfiniBand:
FDR/EDR
2x QSFP28PCIe Gen3.0 x16
+ расширение до x32
E-Series
16 cores
Armv8 A72
2x 8GB DIMMFH¾L,
доп. слот PCI

Хотите ознакомиться с другим оборудованием — перейдите в раздел «Оборудование NVMe«
Второе поколение контроллеров описано в заметке BlueField 2 DPU