Сервер с NVMe системой хранения

Пришло время конфигурировать систему — сервер или систему хранения (СХД) с NVMe накопителями.
Мы покажем несколько типовых схем. Двигаемся от простого к сложному.

NVMe SSD в сервере, рабочей станции

Нет никакой разницы в скорости прямого подключения NVMe накопителей в системе, какой бы форм-фактор Вы ни выбрали.
Редрайвер и ретаймер нужны для разгрузки и «удлинения» шины PCI и дополнительных задержек не вносят. Так же, как хост-контроллер.

Выбор форм-фактора NVMe накопителя рассмотрен в отдельной заметке.

1 — 2 штуки NVMe SSD в сервере / рабочей станции

Отдельный SSD с интерфейсом NVMe в сервер или рабочую станцию устанавливается в качестве:
— быстрого накопителя для требовательных к скорости дисковых операций приложений;
— кэш-накопителя;
— системного диска для общего повышения производительности системы.

Вариантов установки одиночного NVMe SSD, как правило, несколько. Выбор зависит от готовности системы (есть или нет порт NVMe, есть или нет свободный порт PCIe и т.д.) и объема NVMe накопителя.

Все варианты прямого подключения (PCI, M2, U.2 через редрайвер или ретаймер) работают с одинаковой, максимальной скоростью интерфейса.

Если нет необходимости в оперативном доступе, небольшого объема NVMe SSD удобно устанавливать в разъем M.2. Он должен поддерживать NVMe интерфейс.
Если M.2 на материнской плате нет — нужен свободный разъем PCIe. В него устанавливается одно из:
— SSD в формате PCI платы расширения (как правило, это накопители большого объема);
— плата-переходник (Carrier) PCIe — M.2 (от 1 до 4 штук M.2 SSD), в которую, в свою очередь, устанавливается M.2 NVMe SSD. Этих переходников делают много, несколько вариантов описаны в разделе Оборудование.
— плата редрайвер или ретаймер с интерфейсным кабелем для подключения дисковой корзины или объединительной платы корпуса. Корзина или корпус должны поддерживать установку NVMe U.2 накопителей. В таком случае в систему можно установить NVMe SSD в форм-факторе U.2. Эти корпуса и платформы также описаны в разделе Оборудование.

Примеры реализации серверов с 1 — 2 NVMe SSD:

Сервер с 2 — 4 NVMe SSD

Почему четыре?

Четыре накопителя для NVMe интерфейса — это некоторая веха, после которой сложность системы хранения существенно увеличивается.

Четырьмя драйвами ограничены возможности подключения и управления UEFI.
Хост-контроллеры и RAID контроллеры допускают прямое подключение до четырех накопителей. Максимальное количество — 24 — возможно через коммутатор.
Аналогичная ситуация с ретаймерами.

Таким образом, более четырех для NVMe — это «много».

Для системы с четырьмя NVMe SSD логично использовать накопители U.2, если они проходят по необходимой емкости.

В теории, можно поставить в систему плату-переходник PCIe — M.2 на четыре накопителя, но целесообразность такого решения под сомнением. Использование четырех SSD подразумевает достаточно большую требуемую емкость подсистемы хранения. Это означает серьезность поставленной на сервер задачи, откуда логично вытекает наличие возможности горячей замены накопителей и потенциала для расширения.

SSD U.2 ориентированы на корзины 2,5″ с NVMe интерфейсом и корпуса с объединительными платами дисковой подсистемы. Форм-фактор U.2 по физическим размерам совпадает с 2,5″ HDD, но имеет отличный разъем, так что U.2 NVMe накопитель в традиционное 2,5″ место поставить нельзя.

Сервер, система хранения с 8 — 48 NVMe SSD

Если количество NVMe SSD в сервере превышает четыре, возникает необходимость в использовании PCIe коммутатора, который может быть встроен в плату адаптера интерфейса или находиться на объединительной плате накопителей (backplane).

Системы с большим количеством NVMe SSD разрабатываются с учетом плотной компоновки и сильно отличаются от ориентированных на массовое универсальное применение.

В подобных системах используются флеш-накопители форм-факторов U.2, E1.S, E1.L, NF1

Поскольку интерфейсом NVMe «заведует» центральный процессор, система с большим количеством накопителей забирает большую часть его вычислительной мощности. Сочетание «в одном флаконе» требований к производительности ЦП и подсистемы хранения с массой NVMe SSD становится противоречивым. В таком случае система хранения выделяется в отдельный сервер с доступом к нему вычислителей по быстрой сети.