Интеллектуальный сетевой адаптер, которые еще называют SmartNIC, вышел под именем BlueField в компании Mellanox в 2018. Краткое описание: https://www.mellanox.com/products/BlueField-SmartNIC-Ethernet.
Обзор Mellanox BlueField
Mellanox интегрировала сетевые контроллеры ConnectX®-5 с микрокомпьютером на базе процессора Arm в единую высокопроизводительную платформу, или «систему в чипе» (system-on-chip, SoC). В BlueField 1 входят адаптеры сери1 1500 и 1600.
Система состоит из 1..2-канального сетевого адаптера со скоростью передачи 25Гб/с или 100Гб/с, 8- или 16-ядерного процессора Armv8 с ядром A72 и 8/16ГБ оперативной памяти DDR4 DRAM с коррекцией ошибок ECC. Опционально докупается лицензия NVMe SNAP (Software-defined Network Accelerated Processing), добавляющая аппаратную виртуализацию NVMe хранилища.
Хост-интерфейс — 8 или 16 линий PCIe Gen 3.0/4.0. Контроллеры могут работать в слоте с 4, 2 и даже 1 линией PCI.
Аппаратное ускорение
BlueField SmartNIC поддерживают аппаратное ускорение коммуникаций с помощью прямого доступа к памяти PeerDirect RDMA (GPUDirect).
Также аппаратно ускоряются следующие транспортные и интерфейсные протоколы:
– RDMA over Converged Ethernet (RoCE)
– TCP/UDP/IP stateless
– LSO, LRO, checksum
– RSS (также с инкапсулированными пакетами), TSS, HDS,
VLAN insertion/stripping, Receive Flow Steering
– Intelligent interrupt coalescence
– TCP/UDP, MPLS, VxLAN, NVGRE, GENEVE
– SRP, iSER, NFS RDMA, SMB Direct, NVMe-oF
В области виртуализации, контроллеры имеют аппаратную поддержку SR-IOV, поддерживают множественные запросы от виртуальных машин.
Встроенное ПО
«Микрокомпьютерная» составляющая контроллеров имеет свою операционную систему, набор драйверов и утилит — как у полноценного компьютера:
– BlueOS: коммерческая версия дистрибутива Yocto-based Arm Linux
– Поддержка коммерческих дистрибутивов Linux
– Окружение производится с использованием OpenFabrics Enterprise Distribution
(OFED)
– Arm-адаптированные версии драйверов Mellanox и программного стека
– Ускоренный стек таргета NVMe over Fabrics
– Оптимизированные Arm DPDK и ConnectX PMD
– NVMe SNAP framework (Software-defined Network Accelerated Processing. Необходима лицензия).
BlueField SmartNIC могут работать под управлением всех распространенных операционных систем:
– Linux
– Windows
– FreeBSD
– VMware
– OpenFabrics Enterprise Distribution (OFED)
– OpenFabrics Windows Distribution (WinOF-2).
Область применения Mellanox BlueField
Очевидно использование BlueField SmartNIC для строительства высокоэффективной скоростной сетевой инфраструктуры под тот или иной транспортный и интерфейсный протокол. BlueField на аппаратном уровне разгружают центральный процессор и ускоряют операции:
— шифрования/дешифрования для защищенных соединений с изоляцией каждой индивидуальной нагрузки с гибким управлением;
— широкий спектр специализированных средств для максимальной масштабируемости и эффективности виртуализации. Используется технология Mellanox ASAP;
— наличие драйверов инициатора и таргета в BlueField SmartNIC предоставляет эффективное решение для гиперконвергентных систем, позволяя центральному процессору сосредоточиться на вычислениях, в то время как все задачи хранения и сети обрабатываются через ядро сетевой карты на ядрах Arm.
— аппаратная разгрузка для NVMe over Fabrics (NVMe-oF). BlueField DPU объединяет все дискретные компоненты устройства системы хранения данных в одном чипе (ЦП, коммутатор PCIe и сетевой контроллер), что делает его лучшим решением для создания систем Just-a-Bunch-OfFlash (JBOF), All-Flash-массивов и устройства хранения для NVMe over Fabrics.
Модели и характеристики семейства Mellanox Bluefield контроллеров приведены ниже.
Ethernet адаптеры BlueField 1500 серии
Карты контроллеров BlueField 1500/1600 могут преобразовать существующие системы JBOF в решения, совместимые с NVMe-oF.
BF1500 должен быть подключен через коммутатор PCIe к SSD-устройствам.
| Модель | Скорость, GbE | К-во портов | PCIe | Процессор | NVMe SNAP | Шифро- вание | ОЗУ | Форм- фактор |
|---|---|---|---|---|---|---|---|---|
| MBF1M332A-ASNAT | 25 | 2 x SFP28 | Gen3.0/4.0 x8 | G-Series 16 Cores Armv8 A72 | Опция * | — | 16GB | HHHL |
| MBF1M332A-ASCAT | 25 | 2 x SFP28 | + | 16GB | ||||
| MBF1M322A-ASNAT | 25 | 2 x SFP28 | — | 8GB | ||||
| MBF1L516A-CSNAT | 100 | 2 x QSFP28 | Gen3.0/4.0 x16 | — | 16GB | FHHL | ||
| MBF1L516A-CSCAT | 100 | 2 x QSFP28 | + | 16GB | ||||
| MBF1M332A-AENAT | 25 | 2 x SFP28 | Gen3.0/4.0 x8 | G-Series 8 Cores Armv8 A72 | — | — | 16GB | HHHL |
| MBF1M332A-AECAT | 25 | 2 x SFP28 | + | 16GB |
VPI адпатеры BlueField 1500 серии
Поддерживают как Ethernet протокол, так и InfiniBand.
| Модель | Максимальная скорость | Порты | PCI | Процессор | NVMe SNAP | Шифрование | ОЗУ | Форм-фактор |
| MBF1L516A-ESNAT | 100Gb/s Поддержка FDR 56Gb/s — см. примечания к релизам ПО и микрокода | 2 x QSFP28 | Gen4.0 x16 Совместимость с x8, x4, x2, x1 | G-Series 16 Cores Armv8 A72 | Опция | + | 16GB | FHHL |
| MBF1L516A-ESCAT | — |
Ethernet адаптеры BlueField 1600 серии
Адаптеры BlueField 1600 серии содержат 16GB eMMC flash memory для размещения программного обеспечения.
Оперативная память для встроенного микрокомпьютера устанавливается в стандартные слоты DRAM RDIMM (для некоторых моделей), поддерживается до 2x16GB DDR4 SODIMM.
Еще одной отличительной особенностью BlueField 1600 адаптеров является возможность расширения до PCIe Gen3.0 x32 благодаря вспомогательной карте расширения (примечание — ТОЛЬКО для PCIe Gen3.0).
Карты контроллеров BlueField 1500/1600 могут преобразовать существующие системы JBOF в решения, совместимые с NVMe-oF.
Контроллеры 1600 серии позволяют подключать до 16 NVMe SSDs без использования внешнего коммутатора.
BlueField 1600 Ethernet контроллеры не поддерживают шифрование
| Код | Максимальная скорость | Порты | PCI | Процессор | ОЗУ | Форм- фактор |
| BF1600 | ||||||
| MBF1M616A-CSNAT | 100GbE поддержка 10/25/40/50/100GbE | 2x QSFP28 | PCIe Gen3.0/4.0 x16 | E-Series 16 cores Armv8 A72 | 2x 16GB DIMM | FH¾L |
| MBF1M606A-CSNAT | PCIe Gen3.0/4.0 x16 | No DIMM | FH¾L | |||
| MBF1M626A-CSNAT | PCIe Gen3.0 x16 + расширение до x32 | No DIMM | FH¾L, доп. слот PCI | |||
| MBF1M636A-CSNAT | PCIe Gen3.0 x16 + расширение до x32 | 2x 16GB DIMM | FH¾L, доп. слот PCI | |||
| MBF1M646A-CSNAT | PCIe Gen4.0 x16 | 2x 8GB DIMM | FH¾L | |||
| MBF1M656A-CSNAT | PCIe Gen3.0 x16 + расширение до x32 | 2x 8GB DIMM | FH¾L, доп. слот PCI | |||
| BF1500 | ||||||
| MBF1L516B-CSNAT | 100GbE поддержка 10/25/40/50/100GbE | 2x QSFP28 | PCIe Gen3.0/4.0 x16 | G-Series 16 cores Armv8 A72 | 16GB on-board DDR | FHHL |
VPI адпатеры BlueField 1600 серии
Поддерживают как Ethernet протокол, так и InfiniBand.
Адаптеры BlueField 1600 серии содержат 16GB eMMC flash memory для размещения программного обеспечения.
Оперативная память для встроенного микрокомпьютера установлена в стандартные слоты DRAM RDIMM — 2x16GB DDR4 SODIMM.
Еще одной отличительной особенностью BlueField 1600 адаптеров является возможность расширения до PCIe Gen3.0 x32 благодаря вспомогательной карте расширения (примечание — ТОЛЬКО для PCIe Gen3.0).
Карты контроллеров BlueField 1500/1600 могут преобразовать существующие системы JBOF в решения, совместимые с NVMe-oF.
Контроллеры 1600 серии позволяют подключать до 16 NVMe SSDs без использования внешнего коммутатора.
BlueField 1600 VPI контроллеры не поддерживают шифрование
| Код | Максимальная скорость | Порты | PCI | Процессор | ОЗУ | Форм- фактор |
| MBF1M656A-ESNAT | Ethernet: 10/25/40/50/100GbE InfiniBand: FDR/EDR | 2x QSFP28 | PCIe Gen3.0 x16 + расширение до x32 | E-Series 16 cores Armv8 A72 | 2x 8GB DIMM | FH¾L, доп. слот PCI |
Хотите ознакомиться с другим оборудованием — перейдите в раздел «Оборудование NVMe«
Второе поколение контроллеров описано в заметке BlueField 2 DPU
