К сожалению, нет одного ресурса, объединяющего сравнительные тесты производительности массива RAID из NVMe SSD, сформированного разными средствами — программными, с помощью гибридного программно-аппаратного Intel VROC и аппаратным RAID контроллером.
Приходится черпать информацию из различных источников, проводивших тестирование различными методиками.
Сравнение производительности RAID массива из NVMe SSD, построенных программными средствами встроенной утилиты Linux mdadm и средствами файловой системы ZFS приводятся в заметке «Сравнение производительности программных реализаций RAID«.
В этой заметке сравнивается другая пара — Intel VROC и Broadcom MegaRAID 9460-16i. Более свежий контроллер описывается в Broadcom MegaRAID 9500.

Обзор приводится на основе тестов компании Principled Technologies, проведенных при поддерже Intel.

Цель

Компания задалась вопросом — какие SSD накопители NVMe использовать в работе с базами данных и каким контроллером объединять их в RAID — программно-аппаратным Intel VROC или «железным» Broadcom MegaRAID.

Тестироуемые накопители:
Intel SSD DC P4510 Series (U.2, NVMe)
Intel SSD D5-P4320 Series (U.2, NVMe)
Intel SSD D3-S4510 Series (2,5″, SATA 3.0). Эти SATA SSD включены для сравнения.
Компания Intel позиционирует все три серии как предназначенные для использования в ЦОД.

Методика тестирования

Тестируют OLTP database performance для «большой базы данных». База данных — MySQL размером в 9ТБ. Для БД сформирован buffer pool размером 96ГБ, объем системной памяти составляет 192ГБ. Замеры производятся HammerDB TPC-C-like benchmark. Соотношение чтение/запись — 80/20.

Геометрия массива. Созданы по два тома RAID для каждого решения.
В решении VROC создан том RAID5 для данных базы данных и том RAID10 для журналов базы данных. Оба тома были распределены по четырем дискам. Решение VROC не использовало кэш обратной записи из-за природы самого VROC.
Broadcom не допускает использование разных типов RAID на одних и тех же базовых дисках, поэтому были сформированы два тома RAID5 на Broadcom: один для данных базы данных, а другой для журналов базы данных. Кеш записи отключен на томе базы данных Broadcom и включен на томе журналов Broadcom.
Отличающиеся конфигурации массивов для VROC и MegaRAID наверняка повлияли на замеры производительности, но это приемлемое допущение в нашем случае. Оценивается производительность решения в целом, и если один из испытуемых имеет некие ограничения по сравнению с конкурентом — это его беда.

Второй тест — производительность и задержки хранилища при обращении к нему группы виртуальных пользователей сделан для оценки многопоточности.

Результаты тестов и выводы

Вывод первый, довольно очевидный: «старшие» и «средние» NVMe SSD быстрее, чем «младшие» SATA SSD (377 и 276 попугаев против 96, т.е — почти в 4 и в 2,8 раза соответственно); «старшие» NVMe SSD быстрее, чем «младшие» NVMe SSD (377 против 276, т.е — в 1,36 раза).

Производительность базы данных, транзакций/мин. для трех типов SSD, подключенных через Intel VROC и Broadcom MegaRAID

Вывод второй, предсказуемый: контроллер вносит дополнительные задержки. За счет этого производительность хранилища несколько снижается — от 5,5 до 9,9% на разных накопителях. Задержка, вносимая не самым сильным SATA SSD более, чем в два раза выше, чем у SSD с NVMe интерфейсом.

Задержка, мкс. для накопителей NVMe и SATA, подключенных через Intel VROC и Broadcom MegaRAID

Вывод третий: NVMe интерфейс значительно превосходит SATA по возможностям обработки массы параллельных запросов. Тоже предсказуемый вывод, поскольку многопоточность — «конек» NVMe, фундаментально заложенный при его проектировании.

Графики показывают производительность транзакций/мин (TPM) от числа виртуальных пользователей. Очевидно, что массив SSD с интерфейсом NVMe имеет больший запас прочности. Насыщение (общее ограничение производительности) наступает у них на уровне 80..100 виртуальных пользователей, в то время, как у массива из SATA SSD этот порог лежит в районе 16..32 пользователей.
Контроллер Broadcom в этой серии тестов также несколько снижает производительность. Объяснить потери можно вносимыми задержками.

Производительность транзакций в минуту при росте количества пользователей до 256

Источник: пресс-релиз Principled Technologies https://www.pr.com/press-release/771254