Распределенные хранилища данных

МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ
РОССИЙСКОЙ ФЕДЕРАЦИИ

Федеральное государственное бюджетное образовательное учреждение

высшего профессионального образования

«ТЮМЕНСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ»

ИНСТИТУТ МАТЕМАТИКИ И КОМПЬЮТЕРНЫХ НАУК

КАФЕДРА ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ

РАСПРЕДЕЛЕННЫЕ ХРАНИЛИЩА ДАННЫХ

Учебно-методический комплекс.

Рабочая программа для студентов направления

02.04.03 Математическое обеспечение и администрирование информационных систем.
Магистерская программа «Высокопроизводительные вычислительные системы»
(очная форма обучения)

Тюменский государственный университет

2015

ЯЛДЫГИН В. Б. РАСПРЕДЕЛЕННЫЕ ХРАНИЛИЩА ДАННЫХ. Учебно-методический комплекс. Рабочая программа для студентов направления 02.04.03 Математическое обеспечение и администрирование информационных систем. Магистерская программа «Высокопроизводительные вычислительные системы» (очная форма обучения). Тюмень, 2015, 10 стр.

Рабочая программа составлена в соответствии с требованиями ФГОС ВО с учетом рекомендаций и ПрОП ВО по направлению и профилю подготовки.

Рабочая программа дисциплины опубликована на сайте ТюмГУ: Распределенные хранилища данных [электронный ресурс] / Режим доступа: http://www. umk3plus. utmn. ru, свободный.

Рекомендовано к изданию кафедрой программного обеспечения. Утверждено директором Института математики и компьютерных наук Тюменского государственного университета.

© Тюменский государственный университет, 2015.

© , 2015.

1.  Пояснительная записка.

  1.1. Цели и задачи дисциплины

Цель дисциплины: дать знания, умения и навыки, позволяющие реализовывать, администрировать и разрабатывать системы на основе распределенных хранилищ данных.

Задачи дисциплины:

- дать знания в области теоретических основ распределенных хранилищ данных;

- научить принимать решение о целесообразности применения распределенных хранилищ данных;

- дать навыки работы с распределенными хранилищами данных на базе СУБД Oracle, Apache HBase, Apache Cassandra.

   

  1.2. Место дисциплины в структуре основной образовательной программы направления 02.04.03 Математическое обеспечение и администрирование информационных систем.

Дисциплина «Распределенные хранилища данных» относится к дисциплинам по выбору профессионального цикла (М.2) федерального государственного образовательного стандарта высшего профессионального образования направления 02.04.03 Математическое обеспечение и администрирование информационных систем. В соответствии с учебным планом образовательной программы изучение данной дисциплины предусмотрено во 2 семестре и логически взаимосвязано с предшествующими дисциплинами. Дисциплина «Распределенные хранилища данных» опирается на материалы таких дисциплин как «Иностранный язык профессиональной коммуникации», «Иностранный язык в компьютерных технологиях», «Алгоритмы и технологии разработки параллельных программ», «Администрирование распределенных систем», «Архитектура многопроцессорных вычислительных систем», а также знания в области баз данных и систем управления базами данных.

1.3. Компетенции выпускника, формируемые в результате освоения данной дисциплины.

  В результате освоения дисциплины «Распределенные хранилища данных» выпускник должен обладать следующими общенаучными (ОК) и профессиональными компетенциями (ПК):

  - работа в команде (ОК-2);

  - способность применять знания на практике (ОК-5);

  - контекстная обработка информации (ПК-4);

  - знать методы организации работы в коллективах разработчиков ПО, направления развития методов и программных средств коллективной разработки ПО (ПК-18).

  В результате освоения дисциплины студент должен:

Знать: определения из области распределенных хранилищ данных, основные цели и проблемы использования распределенных хранилищ данных, перспективы использования распределенных хранилищ данных.

Уметь: оценивать достоинства и недостатки применения распределенных хранилищ данных, разрабатывать распределенные системы на основе баз данных Oracle, Apache HBase, Apache Cassandra.

Владеть: навыками администрирования распределенных хранилищ данных Oracle, HBase, Cassandra, разработки приложений для работы с распределенными хранилищами данных.

2.  Структура и трудоемкость дисциплины.

Семестр 2. Форма промежуточной аттестации – контрольная работа, зачет. Общая трудоемкость дисциплины составляет 3 зачетных единицы – 108 часов.

3.  Тематический план.

Таблица 1.

№	Тема	Неделя семестра	Виды учебной работы и СРС (в часах)	Итого часов по теме	Из них в интерактивной форме	Формы контроля
Лекции	Сем	Лаб	СРС
1	2	3	4	5	6	7	8	9	10
	Модуль 1. Основные сведения о распределенных хранилищах данных
1	Предварительные сведения о распределенных хранилищах данных	1	2			2	4		Опрос при сдаче лабораторной работы
2	Основные цели создания распределенных хранилищ данных	2	2		4	2	8	2	Опрос при сдаче лабораторной работы
3	Проблемы распределенных систем	3	2		2	2	6	4	Контрольная работа
	Итого		6		6	6	18	6
	Модуль 2. Подходы к построению распределенных хранилищ данных
4	Независимость от СУБД	4-6	6		4	8	18	4	Опрос при сдаче лабораторной работы
5	Базы данных NoSQL	7-9	6		8	8	22	4	Контрольная работа
	Итого		12		12	16	40	8
	Модуль 3. Администрирование распределенных хранилищ данных и разработка приложений
6	База данных Apache HBase	10-13	8		8	10	26	4	Опрос при сдаче лабораторной работы
7	База данных Apache Cassandra	14-17	8		8	8	24	4	Опрос при сдаче лабораторной работы
	Итого		16		16	18	50	8
	Всего за семестр		34		34	40	108	22	Зачет
Из них в интерактивной форме	4		18			22

Таблица 2.

Планирование самостоятельной работы студентов

№	Модули и темы	Виды СРС	Неделя семестра	Объем часов
обязательные	дополнит.
1	Предварительные сведения	Работа с литературой, выполнение практических заданий	Выполнение практических заданий повышенной сложности	1	2
2	Основные цели создания распределенных хранилищ данных	Работа с литературой, выполнение практических заданий	Выполнение практических заданий повышенной сложности	2	2
3	Проблемы распределенных систем	Работа с литературой, выполнение практических заданий	Выполнение практических заданий повышенной сложности	3	2
4	Независимость от СУБД	Работа с литературой, выполнение практических заданий	Выполнение практических заданий повышенной сложности	4-6	8
5	Базы данных NoSQL	Работа с литературой, выполнение практических заданий	Выполнение практических заданий повышенной сложности	7-9	8
6	База данных Apache HBase	Работа с литературой, выполнение практических заданий	Выполнение практических заданий повышенной сложности	10-13	10
7	База данных Apache Cassandra	Работа с литературой, выполнение практических заданий	Выполнение практических заданий повышенной сложности	14-17	8
	Итого за семестр				40

4.  Разделы дисциплины и междисциплинарные связи с обеспечиваемыми (последующими) дисциплинами

№ п/п	Наименование обеспечиваемых (последующих) дисциплин	Темы дисциплины необходимые для изучения обеспечиваемых (последующих) дисциплин
1	2	3	4	5	6	7
1	Производственная практика	+	+	+	+	+	+	+
2	Научно-исследовательская работа	+	+	+	+	+	+	+
3	Выполнение ВКР	+	+	+	+	+	+	+

5.  Содержание дисциплины.

1. Предварительные сведения. Система распределенных баз данных. Узлы. Распределенная система управления базами данных (РСУБД). Однородность. Преимущества распределенных хранилищ данных. Примеры распределенных систем. Основной принцип распределенных систем.

2. Основные цели создания распределенных хранилищ данных. Локальная независимость. Отсутствие зависимости от центрального узла. Непрерывное функционирование. Независимость от расположения. Независимость от фрагментации. Независимость от репликации. Обработка распределенных запросов. Управление распределенными транзакциями. Аппаратная независимость. Независимость от операционной системы. Независимость от сети. Независимость от типа СУБД.

3. Проблемы распределенных систем. Проблема скорости обработки. Минимизация использования сетей. Обработка запросов, глобальная и локальная оптимизация запросов. Управление каталогом. Распространение обновлений. Управление восстановлением, двухфазная фиксация транзакций. Управление параллельностью. Глобальная взаимоблокировка.

4. Независимость от СУБД. Шлюзы. Проблемы семантического несоответствия. Промежуточное программное обеспечение для доступа к данным.

5. Базы данных NoSQL. Основные характеристики. NoSQL и SQL. Виды баз данных NoSQL. Документо-ориентированные СУБД. Базы данных на основе графов. Базы данных с хранением данных на основе семейства столбцов. Хранилища «ключ-значение».

6. База данных Apache HBase. Основные возможности HBase. Файловая система HDFS. Поддержка компрессии столбцов. Операции в памяти со столбцами. Фильтр Блума.

7. База данных Apache Cassandra. Основные возможности Apache Cassandra. Hash-система Dynamo. Модель хранения данных на основе семейства столбцов. Механизмы устойчивости к сбоям. Язык Cassandra Query Language.

6.  Планы семинарских занятий.

Семинарские занятия учебным планом не предусмотрены

7.  Темы лабораторных работ.

1. Использование распределенного хранилища данных на базе СУБД Oracle. Использование связей с базами данных (database links).

2. Администрирование распределенных хранилищ данных на базе СУБД Oracle. Автономность баз данных. Аудит связей с базами данных. Инструменты для администрирования (Enterprise Manager, поддержка SNMP).

3. Анализ скорости обработки данных в распределенном хранилище данных (на примере системы на базе СУБД Oracle). Сравнение скорости обработки данных, распределенных между двумя серверами баз данных Oracle, и данных, находящихся на одном сервере. Применение методов увеличения производительности.

4. Реализация неоднородного (гетерогенного) распределенного хранилища данных на базе СУБД Oracle и СУБД MS SQL Server. Анализ возникающих сложностей.

5. Установка и настройка базы данных Apache HBase. Администрирование базы данных Apache HBase.

6. Разработка приложений на языке Java для работы с базой данных HBase.

7. Установка и настройка базы данных Apache Cassandra. Основные запросы на языке Cassandra Query Language.

8.  Примерная тематика курсовых работ (если они предусмотрены учебным планом ООП). Курсовая работа по дисциплине учебным планом не предусмотрена.

9.  Учебно-методическое обеспечение самостоятельной работы студентов. Оценочные средства для текущего контроля успеваемости, промежуточной аттестации по итогам освоения дисциплины.

9.1. Примерные варианты контрольных работ:

Контрольная работа №1

Реализовать распределенное хранилище данных на основе баз данных Oracle с учетом указанных требований и ограничений.

Контрольная работа №2

Реализовать гетерогенное распределенное хранилище данных на базе СУБД Oracle и СУБД MS SQL Server с учетом указанных требований и ограничений.

Контрольная работа №3

Реализовать базу данных HBase и приложение на языке Java с учетом указанных требований и ограничений.

9.2. Вопросы к зачету

1.  Узлы в системах распределенных хранилищ данных.

2.  Распределенная система управления базами данных (РСУБД).

3.  Однородность и неоднородность распределенных хранилищ данных.

4.  Преимущества распределенных хранилищ данных.

5.  Основной принцип распределенных систем.

6.  Основные цели создания распределенных хранилищ данных.

7.  Проблема скорости обработки в распределенных хранилищах данных.

8.  Минимизация использования сетей в распределенных хранилищах данных.

9.  Шлюзы в распределенных хранилищах данных.

10.  Проблемы семантического несоответствия.

11.  Промежуточное программное обеспечение для доступа к данным.

12.  Базы данных NoSQL.

13.  Виды баз данных NoSQL.

14.  Документо-ориентированные СУБД.

15.  Базы данных на основе графов.

16.  Базы данных с хранением данных на основе семейства столбцов.

17.  Хранилища «ключ-значение».

18.  Файловая система HDFS.

19.  Основные возможности Apache HBase.

20.  Администрирование Apache HBase.

21.  Основные возможности Apache Cassandra.

22.  Механизмы устойчивости к сбоям в Apache Cassandra.

23.  Язык Cassandra Query Language.

24.  Возможности СУБД Oracle по созданию распределенных хранилищ.

25.  Разработка приложений для обращения к распределенным хранилищам данных.

10.  Образовательные технологии.

Для реализации компетентностного подхода используются как традиционные формы и методы обучения, так и реализация проектов в командах с разделением ролей, что направлено на формирование у магистрантов навыков коллективной работы.

11.  Учебно-методическое и информационное обеспечение дисциплины.

11.1. Основная литература:

1.  Тель, Жерар. Введение в распределенные алгоритмы/ Ж. Тель. - Москва: Изд-во МЦНМО, 20с.

2.  Приемы объектно-ориентированного проектирования: паттерны проектирования : пер. с англ. = Design Patterns: Elements of Reusable Object-Oriented Software/ Э. Гамма [и др.]. - Санкт-Петербург: Питер, 20с.

11.2. Дополнительная литература:

1.  Кайт, Томас. Oracle для профессионалов: архитектура, методики программирования и основные особенности версий 9i и 10g: пер. с англ. - Москва: Вильямс, 20с.

2.  Луни, Кевин. Oracle Database 10g: полный справочник : пер. с англ. : в 2 т./ К. Луни. - Москва: Лори; Санкт-Петербург: Питер. Т.1 с.

3.  Луни, Кевин. Oracle Database 10g: полный справочник : пер. с англ. : в 2 т./ К. Луни. - Москва: Лори; Санкт-Петербург: Питер. Т.7 с.

4.  Барский, информационные технологии: учеб. пособие/ . - Москва: Бином. Лаборатория знаний, 20с.

11.3. Программное обеспечение и Интернет – ресурсы:

1.  Oracle Database Administrator's Guide, 11g Release 2 (11.2) [электр. ресурс]. – Режим доступа http://www. /pls/db112/homepage. - Загл. с экрана.

2.  Oracle Database Concepts, 11g Release 2 (11.2) [электр. ресурс]. – Режим доступа http://www. /pls/db112/homepage. - Загл. с экрана.

12.  Технические средства и материально-техническое обеспечение дисциплины:

Для чтения лекций используется аудитория, оборудованная мультимедиа проектором и персональным компьютером. Для выполнения лабораторных работ используется компьютерное оборудование с установленными программными продуктами Oracle Database, Apache HBase, Apache Cassandra, Apache Subversion, Git.