Оборудование СХД: основные компоненты и их назначение

Система хранения данных (СХД) представляет собой комплекс аппаратного и программного обеспечения, который обеспечивает хранение данных на физических носителях и предоставляет доступ к этим данным на установленных условиях.

При построении СХД инженеры стараются подбирать компоненты решения таким образом, чтобы получить необходимый объем хранения, обеспечить высокую скорость обработки данных на чтение и на запись, а также их максимальную сохранность и доступность.

В этом материале мы представили справочную информацию о том, из чего состоят современные СХД, какие базовые характеристики существуют у их функциональных частей, и на что следует смотреть в первую очередь, если вы не так давно в этой отрасли.

Аппаратные компоненты СХД

С аппаратной точки зрения, система хранения данных выглядит как цепочка компонентов, включающая уровень физического размещения данных (например, жесткие диски), уровни их подключения и обработки (дисковый контроллер и контроллер СХД) и уровень передачи (сетевые адаптеры), на котором будут подключаться клиенты (серверы и компьютеры пользователей).

Рисунок 1. Цепочка оборудования в системе хранения данных.

Накопители СХД
• Интерфейсы современных накопителей
• Форм-фактор
• JBOD
Дисковый контроллер и бэкплейн
• Дисковый контроллер (HBA)
• Triple-mode
• Бэкплейн и экспандер
Контроллер СХД
• RAID-контроллер
• Контроллер СХД как специализированный компьютер
• Двухконтроллерный режим
• Вычислительные ресурсы
Сетевые адаптеры

Все эти компоненты имеют свои особенности и характеристики, которые следует учитывать при построении СХД или модернизации уже существующих систем. Понимание роли и места каждого уровня этой цепочки помогает понять, как образуется производительность системы, из чего складывается ее стоимость и на какие аспекты следует обратить внимание при эксплуатации.

Накопители в СХД

СХД может работать с разными носителями данных: магнитная лента, оптические диски, жесткие диски (HDD) и твердотельные накопители (SSD/NVMe). Мы рассмотрим только два последних типа, так как именно они распространены в качестве универсальных носителей в большинстве систем.

Надо понимать, что накопители в СХД задают аппаратный предел производительности: система не может работать быстрее, чем сумма производительности ее накопителей. Медленнее — может.

Накопители имеют много важных параметров и характеристик, которые следует учитывать при построении СХД, но базовыми атрибутами, пожалуй, можно назвать тип интерфейса и форм-фактор.

Интерфейсы современных HDD и SSD

Интерфейс представляет собой протокол взаимодействия накопителя и вычислительных ресурсов системы. Интерфейс является важным фактором, влияющим на параметры накопителя: от него зависит пропускная способность, время задержки, расширяемость, возможность горячей замены и, конечно же, стоимость.

Интерфейсы SATA и SAS изначально появились на HDD-дисках, но затем стали стандартом и для SSD. Однако SATA и SAS не могут раскрыть весь потенциал производительности SSD, поэтому для подключения твердотельных накопителей все чаще используется интерфейс PCIe и протокол NVMe. Также стоит отметить NL-SAS диски, которые по сути являются гибридом SAS-интерфейса и SATA накопителя.

Таблица 1. Общее сравнение характеристик HDD и SSD накопителей

Класс	HDD			SSD
Интерфейс	SATA	SAS		SATA	SAS	PCIe
Накопитель	SATA	NL-SAS	SAS	SATA	SAS	NVMe
Надежность	Низкая	Средняя	Высокая	Средняя	Высокая	Высокая
Производительность	Низкая	Низкая	Средняя	Высокая	Высокая	Очень высокая
Стоимость	Низкая	Низкая	Средняя	Средняя	Высокая	Очень высокая

Форм-фактор

Все HDD имеют схожую конструкцию подвижных элементов, поэтому их внешний корпус — это прямоугольный кейс типа SFF (Small Form Factor, 2.5″) или LFF (Large Form Factor, 3.5″). Каждый из этих типов корпуса может иметь различные разъемы интерфейса.

Рисунок 2. Western Digital Ultrastar SN640 в форм-факторе SFF 2.5″ (слева) и Seagate Exos X12 в форм-факторе LFF 3.5″ (справа).

Flash-накопители не имеют движущихся деталей и поэтому реализованы в более разнообразных формах. Дополнительным импульсом для разнообразия форм-факторов SSD стало развитие PCIe-интерфейса, который добавил варианты прямого размещения накопителей на серверной платформе.

Таблица 2. Форм-факторы HDD и SSD накопителей

Форм-фактор	HDD	SSD
3.5″ (LFF)	SATA, NL-SAS, SAS	—
2.5″ (SFF)	SATA, NL-SAS, SAS	SATA, SAS, NVMe
M.2*	—	SATA, NVMe
Add-In Card (AIC)	—	NVMe
EDSFF	—	NVMe

*используются в качестве системных дисков

 

Рисунок 3. Intel Optane SSD в форм-факторе Add-In-Card HHHL (Half-Height Half-Length).

Форм-фактор является достаточно динамичным параметром, который постоянно меняется и совершенствуется в зависимости как от изменения интерфейсов, так и от изменения подходов к построению СХД. Более подробно про актуальные форм-факторы можно прочитать на сайте SNIA.

JBOD

В современных СХД накопители могут размещаться как в основном корпусе СХД, так и в дисковых корзинах — JBOD (Just a Bunch Of Drives). Физически такие корзины представляют собой корпус для монтажа в стойку, заполненный накопителями. Для NVMe накопителей сейчас активно используются JBOF (Just a Bunch Of Flash), специализированные дисковые корзины для флеш-накопителей. Например, OpenFlex Data24 от компании Western Digital.

Рисунок 4. Дисковая корзина WD Ultrastar Data102.

Дисковый контроллер и бэкплейн

Дисковый контроллер (HBA)

В системах хранения данных дисковый контроллер является устройством, через которое подключенные накопители передаются вычислительным ресурсам системы. Физически дисковый контроллер обычно представлен отдельной картой расширения, но также может быть в виде чипа, интегрированного в непосредственно в материнскую плату. Если говорить простым языком, то дисковый контроллер позволяет видеть и работать с дисками всем следующим уровням СХД.

HBA (Host Bus Adapter, адаптер главной шины) — разновидность дискового контроллера, которая позволяет системе видеть подключенные накопители по отдельности.

Рисунок 5. Дисковый контроллер от Broadcom (9400-8i Tri-Mode Storage Adapter).

Triple-mode

Существуют дисковые контроллеры, которые совмещают в себе возможность одновременной работы сразу с тремя протоколами (SATA, SAS, NVMe). Этот подход удобен и обеспечивает гибкость при проектировании системы хранения, так как позволяет подключать как традиционные SATA-диски, так и сверхбыстрые NVMe накопители.

Бэкплейн и экспандер

В большинстве случаев накопители в СХД подключаются непосредственно через бэкплейн (backplane) — специальную плату в дисковой полке или сервере с разъемами для SAS, SATA, NVMe накопителей, которая соединяется с дисковым контроллером. Сам дисковый контроллер, как правило, поддерживает прямое подключение ограниченного числа накопителей. Для увеличения числа подключаемых дисков используют экспандер. В большинстве случаев он представляет собой чип, который устанавливается на бэкплейн.

Рисунок 6. Бэкплейн Supermicro BPN-SAS-826TQ.

Рисунок 7. SAS-экспандер Broadcom в виде чипа.

Контроллер СХД

Контроллер системы (storage controller, он же управляющий узел или node) является главным управляющим компонентом СХД. Он представляет уровень обработки данных, который отвечает за создание дисковых массивов, расчет контрольных сумм, управление доступом и выполнение других служебных операций.

Контроллер СХД — это функциональный блок, поэтому физически он может быть представлен совершенно разным набором оборудования.

RAID-контроллер

В теории, понятие RAID-контроллера и контроллера СХД часто представляются как тождественные. Это связано с тем, что они оба выполняют свою основную функцию — создают и управляют дисковым массивом. На практике же под RAID-контроллером часто подразумевают адаптер, который вставляется в сервер и создает массив из подключенных накопителей. В таком случае RAID-контроллер создает подсистему хранения данных для конкретного локального клиента (инициатора), но не является СХД в ее устоявшемся значении.

Рисунок 8. RAID-контроллер от Microchip.

Контроллер СХД как специализированный компьютер

Если мы говорим о системе хранения данных как о самостоятельной единице инфраструктуры с подключаемыми по сети клиентами, то в этом случае контроллер СХД — это специализированный компьютер с управляющим ПО. Он оснащен материнской платой, центральным процессором и модулями оперативной памяти. Физически такой контроллер может размещаться как в специализированном корпусе, так и в обычном корпусе для монтажа в стойку.

В некоторых решениях управляющее ПО может брать на себя функцию создания RAID-массива из накопителей, что освобождает от необходимости использовать аппаратный RAID-контроллер. Такой механизм часто применяется в программно-определяемых СХД (software-defined storage), у которых контроллер системы может быть реализован на базе стандартных серверных платформ.

Рисунок 9. Supermicro 2029P-E1CR24H — пример стандартной серверной платформы для программно-определяемых СХД.

Двухконтроллерный режим

Системы хранения данных могут быть одноконтроллерные, двухконтроллерные и многоконтроллерные. Последние два варианта используются для повышения производительности, а также повышенной отказоустойчивости: при аппаратном сбое активного контроллера, второй узел «подхватывает» его работу без остановки всей системы.

Рисунок 10. Схема двухконтроллерной СХД на базе RAIDIX.

В двух- и многоконтроллерных конфигурациях узлы соединены каналами связи. Эти каналы могут отличаться в зависимости от архитектуры и функциональных особенностей системы. Например, в классической двухконтроллерной системе на базе RAIDIX это:

• Интерконнект между узлами (Heartbeat) — Ethernet-соединение между узлами для проверки работоспособности контроллеров.
• Синхронизация кэша (Cache sync) — соединение для синхронизации кэша на основе протоколов IB-SRP, iSCSI или SAS.

Стоит отметить, что наличие двух контроллеров не означает использование двух отдельных физических корпусов. Нередко дублирующие материнские платы контроллеров размещаются в разных отсеках внутри одной платформы (рисунок 11).

Рисунок 11. Два контроллера внутри одного серверного корпуса.

Вычислительные ресурсы

С увеличением количества выполняемых функций и используемых накопителей, системе требуется больше вычислительных ресурсов. Например в одноконтроллерной СХД RAIDIX на 60 накопителей для оптимальной производительности требуется 2 восьмиядерных процессора с частотой не ниже 2.1 ГГц и 48 ГБ оперативной памяти, а для системы на 600 дисков требуется 2 восьмиядерных процессора с частотой уже от 3.5 ГГц и более 256 ГБ оперативной памяти.

В качестве процессоров для СХД сейчас в основном используются x86 чипы Intel Xeon и, чуть реже, AMD EPYC. Существуют решения собранные на других процессорах (например, на отечественном Эльбрусе), но они менее популярны на рынке.

Таблица 3. Базовые характеристики серверных процессоров Intel и AMD

	Intel Xeon Scalable				AMD EPYC
	Bronze	Silver	Gold	Platinum	1-Socket	2-Socket
Кол-во сокетов	1-2	1-2	2-4	2-8	1	2
Кол-во ядер	6-8	4-12	4-22	4-28	16-32	16-32
Базовая частота	1.7 ГГц	1.8-2.6 ГГц	1.9-3.5 ГГц	2.0-3.6 ГГц	2.0-2.4 ГГц	2.0-2.4 ГГц
Тип поддерживаемой памяти	DDR4-2133	DDR4-2400	DDR4-2666	DDR4-2666	DDR4-2666	DDR4-2666
Кол-во линий PCIe	48				128

На объем вычислительных ресурсов в значительной мере влияют установленные бизнес-требования к инфраструктуре хранения, характер и интенсивность нагрузок, а также существующее сетевое окружение.

Сетевые адаптеры

Сетевые адаптеры (хост-адаптеры) являются финальным звеном цепочки обмена данными с клиентом. Именно при помощи этого устройства система хранения данных соединяется с «внешним миром»: серверами, рабочими станциями и другими компонентами сетевой инфраструктуры. Сетевой адаптер представляет собой плату с портами интерфейсов (Ethernet, FC, IB, SAS), которая использует разъем на материнской плате или впаивается в нее напрямую.

Рисунок 12. Сетевой адаптер Mellanox ConnectX-6.

Некоторые хост-адаптеры могут иметь одновременно несколько интерфейсов. Например, у Mellanox есть адаптер, работающий с интерфейсами Infiniband и Ethernet.

Таблица 4. Характеристики современных хост-адаптеров в СХД

Тип интерфейса	Блочные протоколы	Файловые протоколы	Скорость	Популярные бренды
FC	Fibre Channel FC-NVMe	—	8Gb/16Gb/32Gb	Marvell QLogic Broadcom ATTO
Ethernet	iSCSI, iSER, FCoE, NVMe-oF	SMB, NFS, AFP, FTP	10Gb/25Gb/40Gb/50Gb/100Gb/200Gb	Broadcom Mellanox
Infiniband	IB-SRP	—	20Gb/40Gb/56Gb/100Gb	Mellanox
SAS	SAS	—	12Gb	Broadcom Adaptec

Выбор сетевого адаптера зависит от существующей сетевой инфраструктуры, планируемых задач и аппаратной конфигурации системы хранения данных.

Заключение

Оборудование современной СХД можно представить как цепочку уровней, по которым происходит передача и обработка данных между местом их хранения и клиентом. Такое представление процесса дает хорошее понимание того, что может стать «бутылочным горлышком» производительности, какой компонент оборудования несет избыточные характеристики и за счет чего можно сократить общую стоимость решения.

Использование этих знаний поможет сориентироваться при выборе оборудования для СХД, а также позволит упростить процесс подбора компонентов при обновлении и модернизации существующих систем.