Системы хранения данных. Пожиратели пространства идут в SDS

Ссылка на оригинал записи

Самая устойчивая тенденция в ИТ – постоянный рост объемов хранения неструктурированных данных. Их накопление, доступность, обмен с окружением по требованиям приложений обеспечивают системы хранения данных.

Приложения, работающие с объемными данными, меняют спрос на системы хранения данных. В автономных СХД масштабирование емкости, при сохранении высокой производительности и доступности данных – затратное дело. Погоня за скоростными показателями и низкой удельной стоимостью хранения заставляет бизнес отходить от промышленных систем хранения – как не отвечающих особенностям приложений. Вместо подбора производителей и разновидностей оборудования, специфические задачи объемного хранения решают с помощью программного обеспечения, работающего на стандартных устройствах (commodities), открытого или коммерческого.

Программно-определяемое хранение (SDS) стало модным словосочетанием, зонтичным брендом для продвижения любых стратегий, избегающих традиционных  аппаратных  RAID-систем, в том числе: виртуализации, облачного, распределенного хранения.

В буквальном смысле, SDS – это системы хранения, управляемые независимо разработанным ПО. Оно продается отдельно от железа и устанавливается на стандартное оборудование (на массовых серверных компонентах, доступное от нескольких независимых производителей и продавцов). С ним и благодаря ему типовые серверы становятся слоем блочного, файлового или объектного хранения.

Пулы хранения, которыми управляет ПО, могут включать готовые системы хранения данных. Их роль – предоставлять физические или виртуальные (эмулированные) устройства, которые используются другими системами как “сырые” (raw) хранилища данных. Подключаться аппаратные хранилища могут любым интерфейсом ввода-вывода: локально (SAS или SATA диски, внутри сервера или вынесенные в JBOD, через шину PCI – как NVMe, или по USB)  и дистанционно (FC, Infiniband, Ethernet).

“Сырые” устройства хранения – те, которые конечная система идентифицирует как непосредственно присоединенные физические устройства (вне зависимости от протокола, к примеру iSCSI и SMB3).

Говоря о виртуализации хранения, имеют в виду абстрагирование физического слоя хранения от виртуальных машин (VM) серверов и распределение ресурсов хранения под возникающие требования приложений. Как правило, речь идет о выделении емкости. Распределенные (кластерные) файловые системы как VSAN или Ceph – это программные решения, которые обладают SDS-функциональностью, но их основная роль – презентовать файловую систему VM-хостам.

Система виртуализированного хранения, привязанная к конкретному оборудованию – это не SDS. Презентованная другим устройствам файловая система – тоже не SDS. Но, по большому счету,  не так важны четкие определения как наметившиеся тенденции и принявшие их целевые рынки.

За примерами далеко ходить не надо. Речь даже не о популярных платформах облачных вычислений уровня Google Cloud, Amazon Web Services, Microsoft Azure, в которых используется программно-определяемое хранение. Как только в бизнес-модели появляются объемные данные, жди SDS.

Netflix, content delivery network

Netflix — американская компания, поставщик фильмов и сериалов на основе потокового мультимедиа. На нее приходится около трети потребительского интернет-трафика в Северной Америке. Начав с продаж видео на DVD, а потом видео по запросу, компания выросла до собственного производства (сериал «Карточный домик» взял несколько премий Эмми) и диктует технические стандарты поставщикам контента. На январь 2016 года фильмы и сериалы от Netflix доступны клиентам в качестве до Ultra HD 4K (на территории США также в 3D формате).

Библиотека контента Netflix насчитывает свыше петабайта видео. Компания управляет своей сетью доставки контента в 20 точках присутствия, где работает более 1000 серверов хранения и раздачи видео клиентам. Netflix использует два типа серверов, оптимизированных под потоковое видео. Основные хранилища – на HDD, раздающие серверы – на флэш-носителях. Серверы работают на открытом ПО c управляющей надстройкой Netflix.

Нужен местный материал, c подробностями? Пожалуйста

StarLightMedia, телепроизводство и вещание

StarLightMedia – крупнейшая группа на медийном рынке Украины с частью 30% рынка. Шесть телеканалов (СТБ, ICTV, Новий канал, M1, M2, QTV)  вещают в эфире, со спутников, в кабельных сетях, отдают видео по запросу в интернет. У всех на слуху программы «Україна має талант», «Танцюють всi», «X-фактор», «МастерШеф», «Ревизор», «Свобода слова», «Достало!», сериалы «Нюхач», «Пес», «Коли ми вдома». Ставка на собственное производство контента сделала продакшн группы одним из крупнейших в Восточной Европе.

Дмитрий Чашник, IT-директор SLM, считает свое производство видеопродукции и инновационные технологии ее распространения залогом лидерства на конкурентном ТВ-рынке. Производственные мощности группы сегодня включают два с половиной десятка программно-определяемых СХД под управлением RAIDIX – специализированной ОС для высоконагруженного видеопроизводства. Общий полезный объем хранения данных СХД, на которых постоянно осуществляется монтаж видео в SD-качестве, составляет 2,5 (!) ПБ (петабайт). Объем исходных материалов и суммарный объем всех систем хранения растет на 15-20% в год и такая тенденция сохраняется на протяжении последних трех лет.

Другой областью применения технологий программно-определяемых СХД  в медиа-группе является веб-платформа. Построенная на базе технологии ZFS, подсистема хранения и показа видео позволяет просматривать  контент на сайтах СТБ и Нового канала, а также на сайтах-партнерах, их более 70. По статистике, 80% пользователей Украины смотрят контент с серверов SLM, вне зависимости от сайта. Такой спрос телезрителей рождает высокие нагрузки на СХД и требования к масштабированию – и с этим лучше справляются программно-определяемые СХД. Общий объем контента на сайтах в сжатом качестве составляет порядка 25 ТБ. Осенью 2015-го года пиковый видеотрафик фиксировался на уровне 37 Гбит/с и может в скором времени достичь 80 Гбит/с. Отдавать видео в таком объеме с такой скоростью могут мало какие промышленные СХД. Медиагруппа планирует выйти на подобные показатели линейным масштабированием существующей платформы, без затратных вложений.


Информационные технологии, мультисервисные сети

Киевскому оператору кабельного телевидения и информационных услуг с доступом по широкополосным линиям связи больше 20 лет. На традиционном пути ретранслятора аналогового и цифрового ТВ, интернет-провайдера, поставщика услуг доступа домашним пользователям к IPTV и игровым серверам, компания всегда отличалась авторскими программными разработками. Переход к реализации инженерных проектов полного цикла поднял разработчиков над уровнем обслуживания домохозяйств. Свое будущее компания связывает с внедрением распределенных мультисервисных сетей,  построенных на хранении и обработке контента.

Евгений Бендяк, директор по техническому развитию компании, предвидит большой интерес к услуге с рабочим названием “Безопасный дом”. Серверная часть комплекса собирает данные с многих сотен камер наблюдения. Камеры передают видеопоток в высоком (1280х720 или 1920х1080) и малом разрешении (360р). Получается 1.5 – 4 Мбит в секунду с камеры. Каждый сетевой порт видеосервера принимает более 1 гигабит трафика с камер. По срабатыванию датчиков движения видеосервер начинает сбрасывать данные на дисковый массив. Запись ведется, пока движение не прекратится. Клиенты получают доступ к онлайн-потоку и к записанным на дискам данным, по запросу. Программно-определяемые дисковые массивы типичной емкостью от 100 терабайт и выше, проектируются  с запасом не только по емкости хранения, но и по IOPS – чтобы парировать пиковые клиентские нагрузки.

Основное преимущество такой системы – в гибкости, масштабируемости и взаимозаменяемости компонентов, независимо от аппаратной реализации. С небольшими инсталляциями справляются ARM- серверы. Сотням камер нужны многоядерные процессоры и дисковые полки большой емкости. Модульность системы позволяет сделать территориальное разбиение и приблизить данные, как к камерам, так и к пользователям данных, например, жителям определенного дома. Балансировка нагрузки на серверах и дисковых массивах дает возможность оптимизировать размещение данных, с учетом их популярности, требований к скорости обращения и доступности. Программные реализации дают свободу маневра в управлении хранением: проще и намного дешевле наращивать емкость дисковых массивов, применять кэширование и многослойное хранение, уравновешивать избыточность данных и скорость восстановления информации.

 

Cloud.Net.ua, облачный оператор приложений для малого и среднего бизнеса

Украинский сервис-провайдер «Облако» предлагает хостинг бизнес-приложений: делопроизводства, групповой работы, почты, документооборота, интернет-телефонии. Платформой для обслуживания клиентов служат многоузловые отказоустойчивые кластеры с внешним хранилищем данных. Среда виртуализации построена на Microsoft Hyper-V, работу с данными обеспечивает технология Microsoft Storage Spaces, c разделением горячих/холодных данных по SSD/HDD.

По словам Владимира Малежика, дизайнера и технического директора «Облака», исполнение приложений и резервирование сотен клиентских виртуальных машин порождают десятки терабайт рабочей нагрузки. Не так сложно подобрать процессоры как обеспечить скоростной непрерывный доступ к большому объему данных, с запасом по росту. Инфраструктура хранения данных в подобных проектах может съедать более 70% всех затрат. Программно-определяемое хранение на масштабируемых системах  с типовыми компонентами дает разумный баланс между стоимостью услуги и предоставляемыми возможностями.  При доступной малому/среднему бизнесу цене, достигается качество услуг и производительность уровня крупных предприятий. Пример популярного сервиса “1С онлайн”, критичного к быстрому отклику, говорит о дополнительном конкурентном преимуществе размещения кластеров на украинских технических площадках, помимо расчетов в национальной валюте.

У программно-определяемых систем есть только одно свойство, сдерживающее их массовое распространение: они требуют от пользователя большей самостоятельности в постановке задач и достаточно высокой квалификации персонала. Это естественно: освобождение от законченных продуктовых реализаций подразумевает готовность взять на себя долю забот в  проектировании решений. В случае объемного хранения стимулы к свободе усиливаются радикальным снижением издержек.