Интернет вещей: гиперобъединение инфраструктуры

05.11.2017

Интернет вещей: гиперобъединение инфраструктуры

Реализация потенциала полномасштабных end-to-end приложений в сфере Интернета вещей (IoT) при помощи частной и публичной облачной инфраструктуры.

End-to-end бросает вызов

IoT-проекты набирают обороты и теперь разработчики сталкиваются с новым полем для создания инфраструктуры. Куда поступают данные, полученные от датчиков, и какова правильная архитектура для их анализа?

Простым ответом будет «облако». Масштабируемость и возможность простого подключения, которыми отличаются облачные технологии, безусловно, являются важными функциями для IoT-платформы, но их недостаточно. Успешное проектирование IoT-приложений требует комплексного подхода, основанного на знаниях как в области информационных технологий (IT), так и в области операционных технологий (OT).

Публичная облачная инфраструктура открывает доступ к недорогой обработке и хранению данных, но также может создавать множество непредвиденных рисков в интеграции и работе по мере роста IoT-приложений. Безопасность является одной из ключевых проблем при использовании публичного облака, а защита важных потоков данных и аналитики остро необходима для доверия к IoT-приложениям.

Гибридные облачные среды предлагают лучшее и безопасное решение для IoT. А конвергированные модульные серверы делают задачу дизайна инфраструктуры для IoT более простой и гибкой. Этот новый вид готового коммерческого (COTS) модульного серверного оборудования объединяет в себе лучшие характеристики стоечных и блейд-серверов, обеспечивая большую вычислительную мощность, хранение данных и сетевую коммутацию на одной платформе.

Основы топологии IoT

Независимо от топологии сети, соединяющей отдельные узлы, IoT-решения обычно подпадают под трехуровневую модель. Архитектурные решения на каждом уровне определяют, как IoT-приложения интегрируют, масштабируют и передают данные. На верхнем ярусе находится граница, где крайние точки Интернета вещей соприкасаются с реальным миром. Именно там кластер датчиков преобразует физические характеристики в цифровые данные.

Сети датчиков могут получать данные из разных точек, при этом оставаясь монолитной архитектурой с датчиками одного типа и с одинаковым интерфейсом. Но во многих приложениях развертывается несколько типов датчиков, чтобы можно было объединить данные и получить целостный контекст.

Например, GPS, акселерометры, гироскопы и магнитометры в сочетании с алгоритмами объединения датчиков обеспечивают возможность навигации внутри помещений. При этом датчики могут иметь различные жизненные циклы, а по мере роста сетей появляются обновленные версии датчиков с лучшей функциональностью.

На втором уровне шлюзы обеспечивают преобразование протокола, агрегацию и форматирование данных и возможность анализа в режиме реального времени. Ключевая роль шлюзов заключается в принятии множества высоко оптимизированных протоколов для датчиков и преобразовании их в интернет-протокол (IP) для совместного использования с облачными и корпоративными сетями.

Одним из примеров шлюза является обычный смартфон. Благодаря протоколам Bluetooth, Wi-Fi и 3G или 4G смартфон может подключаться к датчикам, собирать данные и загружать их в облако. Приложения, использующие смартфоны, обычно имеют меньшее количество датчиков, более низкую частоту дискретизации и меньше критически важных требований в реальном времени. Для более серьезных задач в качестве шлюзов используются встроенные компьютеры с малым форм-фактором и специализированным программным обеспечением.

Эти платформы могут масштабироваться, объединять множество потоков данных с датчиков и принимать решения по локальным данным в реальном времени, если это необходимо.

Службы приложений появляются на сцене уже на третьем уровне, в IoT-инфраструктуре в корпоративном центре обработки данных или распределенные по облаку. Многие IoT-приложения работают «в слепую», захватывая и обрабатывая данные и автоматически выполняя аналитику.

Это подразумевает более высокий уровень доверия к датчикам и программному обеспечению при развертывании проектов. Службы управления ресурсами помогают  взаимодействовать с датчиками, следя за тем, чтобы они были точно установлены и корректно работали, а так же  предотвращая несанкционированное вмешательство в их работу. Службы хранения могут записывать как необработанные потоки данных, так и результаты обработки. Возможности расширенной аналитики могут анализировать данные, искать тенденции и аномалии и даже прогнозировать события, а также распространять информацию в корпоративной сети.

«Летающие в облаках»

Большинство специалистов знакомы с проектированием решений на двух внешних уровнях Интернета вещей — датчиках и шлюзах. Но наибольшая ценность приложений для IoT заключается в аналитике, которая создается на инфраструктурном уровне. Полная реализация потенциала масштабного приложения для Интернета вещей зависит именно от выбора дизайнов инфраструктуры.

Например, распространенной ошибкой среди IoT-приложений является низкая пропускная способность. В зависимости от типа датчика и требуемых частот дискретизации, пропускная способность в отдельной точке на самом деле может быть низкой. Агрегация датчиков на шлюзе, а затем умножение эффекта на несколько кластеров, каждый со своим собственным шлюзом, может быстро изменить ситуацию.

Инфраструктура, неспособная идти в ногу с суммой данных, поступающих в нее, рискует дать сбой. Даже короткие периоды перегруженности могут привести к потере данных, пропущенным событиям и ошибочным результатам аналитики.

Каким образом дизайн IoT-инфраструктуры может это предотвратить, одновременно отвечая всем остальным требованиям? Команды IT и OT все больше обращаются к облачным решениям. Распределяя вычислительные ресурсы, они получают возможность обеспечить устойчивость к локальным сбоям и что самое важное, существенно снизить количество проблем связанных с обработкой больших массивов данных и их передачи в сетях. И масштабирование здесь означает добавление «instances» — серверных платформ различных классов для определенных задач.

Самой популярной публичной облачной платформой сегодня является Amazon Elastic Compute Cloud (EC2). Amazon EC2 предоставляет широкий набор вариантов выбора виртуальных серверов с различными платформами и ценовой политикой, основанной на доступности. Платформы варьируются от приспособленных для интенсивных вычислений до виртуальных серверов с графическими процессорами и транзакционными платформами с хранилищем SSD.

Amazon предоставляет услугу потоковой передачи данных Kinesis для обработки big data (больших данных). Публичные облачные ресурсы, такие как EC2, могут быть полезны для представления результатов back-end аналитики, архивирования IoT-данных или предоставления пользователям обзора того, какие данные откуда поступают. Хотя это прорыв в контексте веб-пользователей, такие ресурсы могут не соответствовать контексту IoT.

Для высокопроизводительных приложений IoT со многими датчиками, более высокой скоростью передачи данных и принятием решения за доли секунды, публичные облака не решают ряд проблем:

Детерминизм: большинство публичных облачных сервисов не дают убедительных гарантий качества обслуживания или периода ожидания. Они преимущественно имеют дело с веб-взаимодействием с вовлечением человека, когда секундная задержка допустима. В IoT задержка более нескольких миллисекунд может вывести из строя тщательно организованный процесс. В обычных задачах аналитики больших данных режим реального времени может означать «ежечасно» или «ежедневно».

Симметрия: можно купить по-настоящему специализированный виртуальный сервер, но подавляющее большинство публичных облачных серверов стандартны и находятся на виртуализированных серверах. Когда приложение масштабируется, второй экземпляр может оказаться на другом процессоре на том же сервере — или на совершенно другой машине за сотни или тысячи миль, которая будет иметь другую задержку. Класс виртуального сервера может предоставлять один и тот же тип ресурса, но что еще одновременно работает на этом виртуальном сервере?

Надежное исполнение: приложения IoT должны предпринимать меры для аутентификации датчиков и шлюзов, чтобы предотвратить несанкционированный доступ или взлом. Публичный облачный сервер может добавить случайный сервер, значительно ослабив цепочку доверия. Даже авторитетные провайдеры облачных сервисов могут подвергаться спуфингам, DDoS или другим атакам.

Защита данных: Где именно в облаке неаходятся данные? Например, для соответствия высоким стандартам безопасности, Amazon представила AWS GovCloud — изолированную, квазипубличную зону со специализированными инструментами безопасности и мониторинга. Публичным виртуальным серверам часто не хватает контроля над физическим местоположением, где хранятся данные. Являются ли данные зашифрованными, как они защищены, и защищены ли они end-to-end шифрованием или только в точке хранения?

Протоколы, порты и среды программирования. Основными сетевыми протоколами обычно являются TCP / IP или UDP / IP, но интересны и другие. Если для публичного облачного виртуального сервера не существует полностью выделенного сетевого интерфейса, поддержка промежуточного программного обеспечения может стать сложной задачей, если номера портов будут контролироваться или окажутся недоступны. Установка таких сред, как Java, может оказаться нетривиальной задачей и не поддерживаться поставщиком облачных решений.

Для большинства больших IoT-приложений лучшим решением является масштабируемое гибридное облако. Это позволяет координировать специализированные частные серверы, управляющие ресурсами, потоковой передачей в реальном времени, переключением трафика, обработкой и аналитикой, безопасностью и надежностью с публичными облачными ресурсами для представления и архивирования данных.

Внутри конвергентных модульных серверов

Новая архитектура определяет масштабируемое гибридное IoT-облако: конвергентный модульный сервер. По сравнению с традиционным сервером, использующим масштабируемый процессор, такой как процессор Intel Xeon E5, который может иметь до 18 ядер, конвергентные модульные серверы предоставляют еще более мощные и в то же время гибкие вычислительные ресурсы.

В отличии от разбивки большой рабочей нагрузки на несколько ядер, решение конвергентного сервера лучше всего подходит для многих целей – в частности для IoT-инфраструктуры.

Благодаря использованию многоядерных процессоров с более низким энергопотреблением, модульные серверы могут снизить общее энергопотребление и уменьшить используемое пространство при одновременном масштабировании производительности внутри платформ и улучшении взаимодействия между ними.

Многие из этих модульных серверов оснащены процессором Intel Xeon E3, разработанным специально для более легких рабочих нагрузок на веб-уровне.

Архитектура конвергентного модульного сервера, как и блейд-сервера, соединяет несколько процессоров в одном корпусе с помощью быстрой, настраиваемой структуры с низкой задержкой. Это позволяет сбалансировать нагрузку между процессорными ядрами при малой задержке. Платформа на основе Ethernet может переходить в существующую корпоративную сеть, распределяя и формируя трафик.

Также у блейд-серверов заимствована идея модулей с возможностью «горячей» замены. Вместо унифицированного дизайна многие конвергентные модульные серверы реализованы в компактном корпусе стойки с автономными модульными серверными подсистемами, каждая из которых имеет собственное соединение, охлаждение и мониторинг. Добавление или замена модулей с включенной платформой упрощает обслуживание и обновление.

Преимущество, которым обладают некоторые модульные серверы в энергопотреблении, — это динамический режим ожидания, управляющий мощностью для каждого сервера. Тщательное разделение задач означает, что процессоры могут находиться в режиме сна или даже полностью отключать питание, пока они не задействованы.

Например, если модульный сервер использовался для управления ресурсами или для аналитики, он мог бы переходить в режим ожидания, если нет текущих задач, при этом не влияния на входящие потоки IoT-данных, обрабатываемые другими серверами на той же платформе.

Конвергентные модульные серверы обеспечивают большую плотность хранения, лучшую масштабируемость и низкое энергопотребление. Например, серия Kontron SYMKLOUD в настоящее время включает в себя до 36 ядер Intel Xeon E3 или до 72 ядер Intel Core i7 в корпусе 2U, что дает 756 или 1512 ядер в стойке 42U. В ближайшей перспективе новые процессоры будут обеспечивать более 100 ядер в корпусе 2U. Эта структура открывает множество новых возможностей для разделения сервера, оптимизированного для использования IoT-инфраструктурой.

Управление рабочими нагрузками IoT

На уровне сенсора вычисление скорости передачи данных для заданного датчика и частоты дискретизации являются простыми. Большинство IoT-приложений масштабируются путем добавления датчиков. Это может быть добавление датчиков того же типа на том же месте, добавление новых датчиков в новой точке или новых типов датчиков для захвата новых переменных, и конечно же различные комбинации такого масштабирования

Шлюзы усложняют систему на втором уровне. Они могут масштабироваться по мере добавления новых локаций, поддерживающих совершенно новые сенсорные кластеры. Когда датчики мультиплицируются на существующем шлюзе, они могут превзойти его пропускную способность, создавая потребность в масштабировании и увеличении платформы.

Добавление датчиков разных протоколов требует большего ресурса для конвертирования протоколов.

Еще одним фактором является роль продвинутого связующего программного обеспечения, такого как publish-subscribe (pub-sub, издатель-подписчик).

Физические соединения для датчиков обычно находятся в топологии хаба или сетки, объединенные в шлюз. Виртуальные соединения между датчиками, шлюзами и инфраструктурой могут быть более сложными. Сети издатель-подписчик, такие как DDS и MQTT, подходят для событийно-ориентированных моделей, где датчик публикует показания для любого числа заинтересованных подписчиков в любой точке сети. Модели pub-sub обычно обеспечивают гарантированную доставку сообщений и низкую задержку.

Конвергентные модульные серверы предлагают уникальный подход к масштабированию. Десятки процессорных ядер с каждой добавленной платформой создают больше архитектурных возможностей для работы с разными рабочими нагрузками.

— Вместо выполнения случайных задач возникающих время от времени, ядро, предназначенное для мониторинга, управления и безопасности, может постоянно проверять целостность и работоспособность сети IoT.

— Выделенные ядра могут обслуживать шлюз, обрабатывать входящие данные.

— Если выделять отдельные ядра для конкретных потоков данных, поступающих от датчиков, возможна еще более высокая степень структурированности.

— Использование разных типов ядер, таких как CPU, GPU и DSP, обеспечивает более эффективную обработку сигналов.

Любой из этих шагов может помочь в режиме реального времени реагировать на данные или события в сети IoT.

Самая многообещающая возможность для инфраструктурного уровня — выделение кластеров ядер для прогнозирования в режиме реального времени. Вместо того, чтобы просто реагировать на события в момент, когда они происходят, и анализировать данные позже, предиктивная аналитика может искать тенденции и паттерны, которые предскажут будущее событие.

Например, вместо планового технического обслуживания работающего оборудования, мониторинг состояния может указать на вероятность предстоящего сбоя или определить, что все хорошо, и отложить обслуживание до тех пор, пока оно не будет необходимо.

Платформы больших данных также учитываются. Hadoop — проект фонда Apache Software Foundation, свободно распространяемый набор утилит с открытым исходным кодом для разработки и выполнения распределённых задач, работающих на кластерах из сотен и тысяч узлов. Ее ключевым преимуществом в контексте IoT является то, что данные могут храниться гибко — либо в одном очень большом файле, либо во многих небольших файлах.

Hadoop также отлично справляется как со структурированными, так и с неструктурированными данными. В реальном времени потоки IoT-данных часто представляют собой структурированные данные, поток показаний датчиков и временных меток. Но, к примеру, данные предприятий, такие как история покупки товара, информация о гарантии, диаграммы обслуживания, фотографии и видео, руководства пользователя, часто не структурированы. Сочетание этих двух функций дает возможность провести качественный анализ.

Таким образом, объединенные между собой на одном сервере ядра, работают лучше, по сравнению с таким же количеством ядер, свободно распределенных по кластерам в облаке.

Масштабируемым сервером с такими преимуществами является и модульный 72-ядерный сервер Kontron SYMKLOUD.

Для инфраструктуры IoT гибридное облако, построенное вокруг конвергентных модульных серверов, дает возможность осуществлять масштабирование во всех направлениях.

Изменение границ

Гибридный облачный подход к инфраструктуре IoT с использованием модульных серверов также помогает освободить разработчиков приложений от многих других границ.

— На частном модульном сервере среды виртуализации полностью контролируются – известно, что запущено на конкретной платформе. Это открывает возможности для виртуализации сетевых функций (NFV), уменьшая как капитальные затраты, так и затраты на жизненный цикл, поскольку устройства консолидируются.

— Разработчики могут выбирать и развертывать правильный программный подход. Работающие системы могут сочетать и комбинировать режим реального времени, Linux или Windows. Установка и настройка связующего программного обеспечения, такого как OSGi, DDS, MQTT или другие службы, на частной платформе гибридного облака не ограничена.

— Многопроцессорная обработка и особое соединение обеспечивают возможность получать и обрабатывать больше IoT-данных и создавать более быструю и детальную аналитику.

— Самый высокий потенциал IoT заключается в монетизации аналитики и данных, а также создании мощных новых бизнес-моделей. Благодаря наличию гибридного облака ресурсы данных могут быть обработаны и разделены или полностью защищены. Способность быстро расти и адаптировать инфраструктуру означает повышение конкурентоспособности.

Все эти преимущества ценны не только для OEM-разработчиков, создающих IoT-приложения, но и для поставщиков облачных услуг (CSP), которые хотят расширить свой M2M ассортимент или выйти на IoT-рынок. Гибридное облако, работающее на конвергентных модульных серверах, обеспечивает улучшенную масштабируемость, улучшенную плотность загрузки, низкое энергопотребление и требования к охлаждению, а также гибкость для целевого IoT-приложения.

Гиперобъединение IoT

Развертывание конвергентных модульных серверов в гибридных облаках является лишь частью общей стратегии компании Kontron в гиперобъединении Интернета вещей. Обладая уникальным опытом как в области промышленных вычислений, так и в решениях для телекоммуникационных/информационных центров, команды Kontron имеют опыт работы со всеми аспектами, необходимыми для успеха в IoT.

Kontron является привилегированным участником Intel Internet of Things Solutions Alliance. Это означает, что клиенты Kontron имеют доступ к новейшей технологии Intel в сочетании с расширенной поддержкой жизненного цикла встраиваемых устройств.

Kontron SYMKLOUD MS2900 и MS2910

Инфраструктура гибридного IoT-облака требует платформы, которая обеспечивает качество обслуживания в течение многих лет при любых условиях. Серия SYMKLOUD от Kontron предлагает конвергентные модульные серверы с уникальной поддержкой интеграции IT/OT и критически важных приложений.

Основные характеристики серии SYMKLOUD:

— Высота 2U, глубина 21″ (533,4 мм)

— До девяти четырехъядерных процессоров Intel® Xeon E3-1265 Lv2

процессоров — всего до 36 ядер

— До 18 Intel Core i7-4860EQ GT3e Iris Pro процессоров — всего до 72 ядер

— До девяти процессоров Intel Core i7-4860EQ в сочетании со слотом расширения PCIe

— Ethernet-соединение, GigE (MS2900) или 10GigE (MS2910)

— Встроенная, избыточная коммутация L4-L7

— До 2-х подсистем выравнивания (балансировки) нагрузки

— Все модули поддерживают режим «горячей» замены

— Хранилище до 13,5 ТБ хранения (HDD или SSD)

Философия дизайна раггедизированной серии SYMKLOUD создавалась в соответствии с высокими требованиями к инфраструктуре телекоммуникационного стандарта NEBS. Она способна выдерживать более высокие температуры и более устойчивая к ударам и вибрациям.

36 ядер в стойке 2U это важно, но не менее важна глубина. Шасси размером в 21″ позволяет имплементировать SYMKLOUD как в центры обработки данных, так и в транспортные или промышленные среды.

Функции управления платформой включают в себя обновления одним кликом, BMC с расширенными опциями, SNMP и IPMI, а так же функционал для дистанционного управления и диагностики.

Оборудование серии SYMKLOUD поддерживается от 5 до 7 лет, сокращая капитальные затраты, затраты на разработку и обслуживание по сравнению с типичными серверами.

 

По материалам компании Kontron

Статьи

05.11.2017

Реализация потенциала полномасштабных end-to-end приложений в сфере Интернета вещей (IoT) при помощи частной и публичной облачной инфраструктуры.

End-to-end бросает вызов
IoT-проекты набирают обороты и теперь разработчики (читать далее)

17.10.2017

Управление технологиями автоматизации на базе персонального компьютера подходит для любого приложения и обеспечивает успешную реализацию инициатив в области промышленного Интернета вещей (Industrial Internet of (читать далее)