RAIDIX ERA раскрывает потенциал производительности аналитической платформы Kx

Скачать кейс [PDF]

Благодаря RAIDIX ERA аналитическая платформа Кх записывает данные на 88% быстрее. Прирост в скорости последовательного чтения данных составляет 39% по сравнению с альтернативными решениями.

Платформа Kx для потоковой аналитики

Платформа Kx для потоковой аналитики работает на основе kdb+, самой быстрой в мире базы данных временных рядов (time-series database). Она оптимизирована для сбора, анализа и хранения как архивных, так и поступающих массивов данных.

Платформа Kx — это инструмент для проектирования, построения и развертывания систем сбора данных, их обработки, обогащения, аналитики и интерактивной визуализации. Решения на базе Kx используются для аналитики фондовых рынков, алгоритмического трейдинга, научных исследований, поиска ошибок и прогнозного анализа в производстве, а также для машинного обучения (ML) и интернета вещей (IoT).

Решения на базе платформы Kx имеют высокую надежность и отказоустойчивость, в них реализован удобный инструментарий запросов, оповещений, создания отчетов, фильтрации и визуализации данных. Платформа Kx зарекомендовала себя как самое быстрое решение сложных аналитических задач среди аналогичных продуктов.

Задача

Благодаря столбцовому расположению данных и in-memory возможностям платформа Kx достигает огромной производительности и эффективности по сравнению с обычными реляционными базами данных. Собственная поддержка операций временных рядов существенно повышает скорость приема, запроса, агрегации и анализа поступающих и архивных данных.

Для полноценной работы с большими объемами данных без задержек решениям на базе платформы Kx требуется высокопроизводительная подсистема хранения.

Решение

Чтобы получить высокую скорость передачи данных и раскрыть все возможности аналитики, пользователи платформы Kx используют инфраструктуры с быстрыми NVMe и SSD накопителями и стандартными серверными компонентами. Для создания производительного массива из этих накопителей отлично подходит технология RAIDIX ERA.

RAIDIX ERA представляет собой программный RAID, который эффективно работает с NVMe и SSD носителями. Он разрабатывался специально для новых типов накопителей, учитывая особенности их архитектуры и логику работы с данными. Поэтому созданные NVMe-массивы работают практически без потери заявленной производительности.

Инженеры компании Kx используют RAIDIX ERA для создания и тестирования решений в лабораторных условиях под самыми требовательными IoT-нагрузками.

Для первоначального тестирования была использована следующая конфигурация подсистемы хранения:

24 NVMe накопителя по 2 ТБ, суммарный объем 48 ТБ.
RAID 50 с 6 группами RAID 5.
Nano бенчмарк, обеспечивающий 20 потоков на чтение и на запись.

Nano бенчмарк вычисляет базовую способность ввода-вывода энергонезависимого хранилища, измеряемую с точки зрения базы данных kdb+. Стоит отметить, что кэш очищался после каждого теста. Дополнительная информация о бенчмарке доступна по ссылке: github.com/KxSystems/nano.

В ходе теста были получены следующие результаты:

	Before (VROC)	After
Total Write Rate (async) MiB/s	3,420	6,440
Streaming Read (mapped) Rate MiB/s	14,100	19,565
Streaming ReRead (mapped) Rate MiB/s	47,905	72,461

Платформа Kx хранит данные в столбцовой базе данных, где большинство клиентских нагрузок составляют операции последовательного чтения и записи данных. RAIDIX ERA дает больший прирост производительности на последовательных нагрузках, чем другие системы хранения, что обеспечивает пользователям платформы дополнительные преимущества.

Преимущества

Благодаря RAIDIX ERA платформа Kx на 88% повышает скорость записи данных, на 39% скорость последовательного чтения и обеспечивает общее снижение времени отклика по сравнению с альтернативными решениями. Это позволяет клиентам эффективнее работать с большими объемами данных при существующей инфраструктуре, в частности:

быстрее собирать и обрабатывать больший объем данных от подключенных устройств, сенсоров и меток в производственных процессах;
фиксировать, хранить и обрабатывать миллионы событий и параметров в секунду для решения наиболее сложных исследовательских задач;
обеспечивать максимально быстрый отклик для запросов приложений машинного обучения.

О компании Kx

Компания Kx является подразделением First Derivatives (FDP.L), глобальной технологической компании с 20 летним опытом работы в финансовом секторе, ритейле, фармацевтике, производстве и энергетической отрасли. Технология Kx, которая включает базу данных временных рядов kdb+, — это передовое решение в области потоковой аналитики и высокопроизводительных вычислений в памяти. Kx обеспечивает наилучшую производительность и гибкость для масштабной, высоконагруженной аналитики и приложений в различных отраслях. Компания имеет 14 офисов в Европе, Северной Америке и Азии, в которых заняты более 2400 сотрудников. Штаб-квартира находится в Ньюри, Северная Ирландия.

Более подробная информация о компании на сайте www.kx.com.