Направление подготовки: 09.03.03 Прикладная информатика Выпускная квалификационная работа Кластерная потоковая обработка данных для Интернета Вещей (стр. 5 )

Рис. 8. Нахождение и подключение к существующему кластеру.

Для этих целей было решено написать программу агент на Java, которую необходимо запустить на каждом из устройств (рис. 8.). Агент должен выполнять следующие задачи:

Обнаружение устройств в локальной сети. Сканирование порта 8080, на котором обычно работает NiFi. REST запрос /nifi-api/controller/cluster для получения информации о кластере. Подключение или создание нового кластера
В случае если мы получили информацию о кластере, то подключаемся к Координатору кластера (рис. 8). В случае если кластер не был найден, создаем новый кластер выбрав определенные обнаруженные устройства, которые готовы быть узлом нового кластера (рис. 9).
Обновление локального экземпляра Apache NiFi для работе в кластере. Запуск локального экземпляра Apache NiFi.

Рис. 9. Обнаружение устройств и создания кластера.

При запуске агента необходимо будет указать папку с файлами Apache NiFi и порт который нужно слушать на входящие сообщения в случае готовности быть частью нового кластера.

Пример команды запуска:

java - cp agent. jar ru. c. NodeAgent ~/nifi 8085

После запуска идет поиск кластера в локальной сети, если кластер найден, то выполняется подключение к существующему кластеру. В случае, если кластер не найден, идет поиск устройств готовых стать частью нового кластера. При нахождении трех подобных устройств (необходимых для кворума), готовых стать узлами кластера, запускается процесс создания кластера.

4.4. Формирование списка кандидатов кластера

На данном этапе работы выбран примитивный способ формирования списка кандидатов кластера. После сканирования и составления списка доступных устройств в сети, выбираются первые три для создания кластера. Обусловлено это тем, что целью поставленной задачи была проверка возможности формирования кластера с нуля.

Следующим шагом в развитии данного этапа, может стать переключение формирования списка кандидатов кластера на распределенную хэш-таблицу (DHT) [16]. Сеть DHT может быть использована для создания различных сервисов. Например: распределённые файловые системы, пиринговое распространение файлов и системы распространения контента [56].

ЗАКЛЮЧЕНИЕ

В рамках данной работы были получены следующие результаты:

Созданы автоматизированные скрипты провизии для создания кластера Apache NiFi на основе виртуальных машин. Проверена работоспособность кластера Apache NiFi на граничных устройствах сети. Написана программа агент, выполняющая поиск существующего кластера в сети или его создания с нуля. Результаты работ опубликованы на github [37][57] Опубликована статья на habrahabr. ru [58]

В связи с тем, что целью данной работы была проверка возможности кластерной потоковой обработки на граничных устройствах для Интернета Вещей, то были упрощены многие процедуры, такие как политика безопасности, разграничение прав доступа, которые обязательно надо учитывать в последующих этапах работы над данной темой.

СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ

Если взглянуть на Интернет вещей шире [Электронный ресурс]. – Режим доступа: http://www. /c/ru_ru/about/press/press-releases/2015/02-021215.html, свободный. Как освоить Интернет вещей [Электронный ресурс]. – Режим доступа : https://www. /developerworks/ru/library/ot-key-concepts/index. html, свободный. Большие данные — Википедия [Электронный ресурс]. – Режим доступа : https://ru. wikipedia. org/wiki/Большие_данные, свободный. Встраиваемая система — Википедия [Электронный ресурс]. – Режим доступа: https://ru. wikipedia. org/wiki/Встраиваемая_система, свободный. Виртуальная машина — Википедия [Электронный ресурс]. – Режим доступа: https://ru. wikipedia. org/wiki/Виртуальная_машина, свободный Guest_OSes – Oracle VM VirtualBox [Электронный ресурс]. – Режим доступа : https://www. virtualbox. org/wiki/Guest_OSes, свободный. Vagrant by HashiCorp [Электронный ресурс]. – Режим доступа : https://www. /, свободный. Елизаров, и проблемы развития рынка Интернета Вещей / . // NAUKA-RASTUDENT. RU. – 2015. – 12. – С. 35. Quorum (distributed computing) - Wikipedia [Электронный ресурс]. – Режим доступа : https://en. wikipedia. org/wiki/Quorum_(distributed_computing), свободный. Кластер (группа компьютеров) — Википедия [Электронный ресурс]. – Режим доступа : https://ru. wikipedia. org/wiki/Кластер_(группа_компьютеров), свободный. NiFi System Administrator’s Guide [Электронный ресурс]. – Режим доступа : https://nifi. apache. org/docs/nifi-docs/html/administration-guide. html, свободный. Облачные вычисления — Википедия [Электронный ресурс]. – Режим доступа : https://ru. wikipedia. org/wiki/Облачные_вычисления, свободный. Поток данных — Википедия [Электронный ресурс]. – Режим доступа : https://ru. wikipedia. org/wiki/Поток_данных, свободный. vagrant provision - Command-Line Interface - Vagrant by HashiCorp [Электронный ресурс]. – Режим доступа : https://www. /docs/cli/provision. html, свободный. Flow based programming [Электронный ресурс]. – Режим доступа : https://en. wikipedia. org/wiki/Flow-based_programming, свободный. Распределённая хеш-таблица - Википедия [Электронный ресурс]. – Режим доступа : https://ru. wikipedia. org/wiki/DHT, свободный. Саламатов, данных за счет использования облачно-туманных технологий / . // Вестник Волжского университета им. . – 2015. – 1 (23). – С. 78-82. Самараев, состояния области потоковой обработки данных / . // Труды института системного программирования РАН. – 2017. – 1. – С. 231-260. Apache Storm [Электронный ресурс]. – Режим доступа : http://storm. apache. org/, свободный. Apache Spark™ - Lightning-Fast Cluster Computing. [Электронный ресурс]. – Режим доступа : http://spark. apache. org/, свободный. Apache Flink: Scalable Stream and Batch Data Processing [Электронный ресурс]. – Режим доступа : http://flink. apache. org/, свободный Apache Kafka Streams [Электронный ресурс]. – Режим доступа : https://kafka. apache. org/documentation/streams, свободный. Samza [Электронный ресурс]. – Режим доступа : https://samza. apache. org/, свободный. Apache Apex Documentation [Электронный ресурс]. – Режим доступа : https://apex. apache. org/docs/apex/, свободный. Apache Gearpump (Incubating): Overview [Электронный ресурс]. – Режим доступа : https://gearpump. apache. org/overview. html, свободный. Apache NiFi Overview [Электронный ресурс]. – Режим доступа : https://nifi. apache. org/docs/nifi-docs/html/overview. html, свободный. Apache NiFi - Hortonworks [Электронный ресурс]. – Режим доступа : https:///apache/nifi/, свободный. Apache NiFi, Storm and Kafka: Better together [Электронный ресурс]. – Режим доступа : https:///webinar/apache-kafka-apache-nifi-better-together/, свободный Stream Processing: NiFi and Spark [Электронный ресурс]. – Режим доступа : https://blogs. apache. org/nifi/entry/stream_processing_nifi_and_spark, свободный. Apache Flink 1.2.0 Documentation: Apache NiFi Connector [Электронный ресурс]. – Режим доступа : https://ci. apache. org/projects/flink/flink-docs-release-1.2/dev/connectors/nifi. html, свободный. NiFi System Administrator’s Guide [Электронный ресурс]. – Режим доступа : https://nifi. apache. org/docs/nifi-docs/html/administration-guide. html, свободный. Горшков, сообщений социальной сети twitter с использованием систем обработки потоковых данных Apache Spark и Apache Storm / , . // INTERNATIONAL JOURNAL OF OPEN INFORMATION TECHNOLOGIES. – 2016. – 11. – С. 1-11. Елизаров, и проблемы развития рынка интернета вещей / . // NAUKA - RASTUDENT. RU. – 2015. – № 12. – С. 35. Configuring Apache NiFi SSL Authentication - BatchIQ [Электронный ресурс]. – Режим доступа : https://www. /nifi-configuring-ssl-auth. html, свободный. dotless-de/vagrant-vbguest: A Vagrant plugin to keep your VirtualBox Guest Additions [Электронный ресурс]. – Режим доступа : https:///dotless-de/vagrant-vbguest, свободный. Vagrant Host Manager - github [Электронный ресурс]. – Режим доступа : https:///devopsgroup-io/vagrant-hostmanager, свободный. nabidefacto/vagrant-nifi-cluster: Local NiFi cluster with vagrant provisioning [Электронный ресурс]. – Режим доступа : https:///nabidefacto/vagrant-nifi-cluster, свободный. meefik/linuxdeploy: Install and run GNU/Linux on Android | Установка и запуск GNU/Linux под Android [Электронный ресурс]. – Режим доступа : https:///meefik/linuxdeploy, свободный. Linux Deploy - 4PDA [Электронный ресурс]. – Режим доступа : http://4pda. ru/forum/index. php? showtopic=378043, свободный. Dautov R. I. Pushing Intelligence to the Edge with a Stream Processing Architecture / Dautov. R. I. и др. // The 10th IEEE International Conference on Internet of Things. – 2017. orkes/ekstream [Электронный ресурс]. – Режим доступа : https:///orkes/ekstream, свободный. Running NiFi on Raspberry Pi. Best Practices. - Hortonworks [Электронный ресурс]. – Режим доступа : https://community. /articles/32605/running-nifi-on-raspberry-pi-best-practices. html, свободный. ZooKeeper Dynamic Reconfiguration [Электронный ресурс]. – Режим доступа : https://zookeeper. apache. org/doc/trunk/zookeeperReconfig. html, свободный. Exhibitor · soabase/exhibitor Wiki [Электронный ресурс]. – Режим доступа : https:///soabase/exhibitor/wiki, свободный. Семенов, IP сети с использованием программно-конфигурируемых сетей / . и др. // ИНФОКОММУНИКАЦИОННЫЕ ТЕХНОЛОГИИ. – 2015. – № 4. – С. 414-419. Штомпель, И. Новые возможности nmap 5.00 – программы для исследования безопасности сетей / И. Штомпель. // СИСТЕМНЫЙ АДМИНИСТРАТОР. – 2009. – № 9 (82). – С. 60-63. DatagramSocket (Java Platform SE 8 ) [Электронный ресурс]. – Режим доступа : https://docs. /javase/8/docs/api/java/net/DatagramSocket. html, свободный. Distefano, S. Device-Centric Sensing: An Alternative to Data-Centric Approaches / S. Distefano. и др. // IEEE Systems Journal. – 2016. – 11. – С. 231-241. Bonomi, F. Fog computing and its role in the internet of things / F. Bonomi. и др. // Proceedings of the First Edition of the MCC Workshop on Mobile Cloud Computing.. – 2012. – 11. – С. 11-16. Merlino, G. Mobile crowdsensing as a service: A platform for applications on top of sensing Clouds / G. Merlino. и др. // Future Generation Computer Systems. – 2015. – 56. – С. 623-639. Bruneo, D. Stack4Things as a fog computing platform for Smart City applications / D. Bruneo. и др. // IEEE Conference on Computer Communications Workshops (INFOCOM Workshops). – 2016. – 1. – С. 848-853. Туманные вычисления спускают облачный функционал на землю - Cisco [Электронный ресурс]. – Режим доступа : http://www. /c/ru_ru/about/press/press-releases/2015/08-13d. html, свободный. Туманное будущее Интернета вещей - Cisco [Электронный ресурс]. – Режим доступа : http://www. /c/ru_ru/about/press/press-releases/2015/04-10a. html, свободный. Туманные вычисления повысят ценность миллиардов подключенных устройств [Электронный ресурс]. – Режим доступа : http://www. /c/ru_ru/about/press/press-releases/2014/02-020314a. html, свободный. Распыленные вычисления и будущее Интернета вещей [Электронный ресурс]. – Режим доступа : http://www. /c/ru_ru/about/press/press-releases/2015/08-21f. html, свободный.  Рабинович, Е. В. Cпособ управления трафиком в bittorrent-сетях с помощью протокола DHT / , . // ВЕСТНИК СИБГУТИ. – 2012. – 3. – С. 3-10. nabidefacto/nifi-dynamic-cluster: Apache NiFi Dynamic Cluster [Электронный ресурс]. – Режим доступа : https:///nabidefacto/nifi-dynamic-cluster, свободный. Динамическое создание кластера Apache NiFi / Хабрахабр [Электронный ресурс]. – Режим доступа : https://habrahabr. ru/post/331444/, свободный.