Высокопроизводительная система хранения данных для крупного коммерческого заказчика

СХД для высоконагруженных баз данных
О проекте
Задача: увеличение доступной емкости и производительности блочной системы хранения данных


Срок реализации: декабрь 2021 год
Введение
Объемы данных, хранящиеся сегодня в корпоративных средах, стремительно растут. Рост объема данных влечет за собой увеличение требований к системам хранения данных (СХД). Они должны позволять хранить большие объемы информации, быть быстрее и надежнее.
Описание
Чтобы правильно выбрать новую СХД или спланировать модернизацию существующей, необходимо выяснить требования, предъявляемые ИТ-системой к хранению данных. Для работы с высоконагруженными базами данных заказчику требовалась высокопроизводительная блочная система хранения производительностью более 300 тысяч IOPS и доступной емкостью более 250 ТБ.
  • Решение
    Поставка высокопроизводительной системы хранения данных Huawei Dorado 6000 v6 с 38 NVMe дисками по 7,68 ТБ.
Huawei OceanStor Dorado 6000 V6 NVMe
Выполнена в корпусе высотой 2U, предназначенном для установки в стандартные серверные стойки. Спереди размещается корзина на 36 слотов NVMe SSDs собственного формата - palm size, сзади — контроллеры и блоки электропитания. В случае пропадания электричества для сохранности данных используется BBU (Battery Backup Unit), резервирование 1+1.
Накопители формата Palm size более узкие по сравнению с обычным SFF форматом, в результате чего возможно более компактное размещение носителей в том же самом конструктиве корпуса.
Сравнение размеров твердотельных накопителей формата 2,5" и palm size
Вычислительные ресурсы
В системе два контроллера, каждый из которых имеет 512 GB кэша и 96 ядер Kunpeng 920 ARM архитектуры частотой 2.6 GHz. Зеркалирование данных между контроллерами осуществляется через 100 Gbit/s RDMA.

Для повышения производительности чтения данных с массива в каждом контроллере используются сопроцессоры AI Accelerator Card, предназначенные для определения правил доступа к данным и предварительной выборки связанных данных в разных местах массива.
Масштабируемость
Максимальное количество дисков без добавления контроллерных полок - 300. При добавлении контроллерных полок максимальное количество дисков может достигать 4800 штук. Для вертикального масштабирования используются “умные” дисковые полки (Smart NVMe Disk Enclosure) подключаемые через 100 Gbit/s RDMA. Каждый модуль ввода/вывода оснащен собственным 24-ядерным процессором Kunpeng 920 2.6 GHz и оперативной памятью объемом 8 GB для разгрузки процессоров контроллерной пары.
Дисковая подсистема
Huawei использует проприетарный Erasure Coding (EC) алгоритм, реализуя RAID 5, 6, TP (тройная четность). Система при использовании RAID-TP способна перенести потерю 3-х дисков без потери данных.
Ввод/вывод
В качестве опции расширения имеется 6 слотов на контроллер. Для Front-end подключений используются модули 4-port 32 Gbit/s Fibre Channel SmartIO interface module полностью готовые для End-to-End NVMe подключений, используя NVMe over FC.
Показатели производительности СХД и полезный объем при заданных условиях нагрузки
Показатель производительности продуктивных LUN для всего полезного объема данных на массиве составил более 370 000 IOPS (Input/Output Operations Per Second). При этом использовался следующий профиль нагрузки:
  • RAID-6 (двойная четность);
  • Включенные функции дедупликации и компрессии;
  • Коэффициент сжатия данных – 2.7;
  • Чтение:запись = 70:30;
  • Попадание в кэш при чтении 0%;
  • Размер операций 8KB;
  • Вид доступа — OLTP;
  • Время отклика - 1 ms.
Результат
В результате заказчик получил высокопроизводительную, отказоустойчивую систему хранению данных с отличным запасом производительности. При этом полезный объем хранения может быть увеличен до 590 ТБ за счет использования компрессии и дедупликации без увеличения числа дисков.