Распределенная обработка данных (стр. 26 )

Каждый из экземпляров федеративного ХД хранит копию базовой бизнес-модели и общие основные данные (common master dat), причем каждое ХД более высокого уровня содержит итоговые транзакционные данные более низкого уровня. Общие основные данные — например, схема организационной структуры компании — отправляются "вниз", т. е. из корпоративного (глобального) ХД, а суммарные данные о транзакциях отправляются "верх", т. е. из локального ХД. Таким образом, "федерация" ХД может предоставить местным отделениям необходимую гибкость, а также обеспечить общий контроль и согласованность; при этом каждое ХД функционирует независимо от всех других остальных.

Для федеративных ХД характерны общая семантика и бизнес-правила, стандартизованный набор процессов извлечения из (о существовании бизнес-правил как таковых было сказано строкой выше) бизнес-правил, децентрализованные ресурсы и управление, параллельная разработка.

При этом следует учитывать, что важна необходимость в координировании работ, требуется согласованность среди различных отделов по вопросам архитектуры, бизнес-правил и семантики, сложная технологическая информационно-вычислительная среда.

Выводы

Компонентами типовой архитектуры ХД являются:

программное обеспечение промежуточного слоя. Основное назначение этих компонент состоит в обеспечении доступа к сети и доступа к данным;

БД OLTP систем и данные внешних источников;

предварительная обработка и загрузка данных;

ХД, реализованное средствами СУБД;

метаданные, которые играют роль справочника о данных;

уровень доступа к данным — программное обеспечение, которое обеспечивает взаимодействие конечных пользователей с данными ХД;

уровень информационного доступа, который обеспечивает непосредственное общение пользователя с ХД;

уровень администрирования.

В последнее время возрастает практический интерес к использованию ХД при формировании информационной инфраструктуры организаций. Преимущества, которые получает организация от внедрения хранилищ данных, следующие.

Взгляд на данные организации, как на единое целое. Это ответы на такие вопросы: сколько продуктов реально производится? Что влияет на изменение спроса? Какие товары или услуги приносят наибольший доход? А также возможность учитывать особенности и предпочтения клиентов.

400% возврат инвестиций, вложенный в создание хранилища данных (по результатам трехлетнего исследования опыта 62-х корпораций, проведенного IDC). Сроки исполнения — от 6 месяцев до 2-х лет в зависимости от объема хранилища данных, при следующем распределении затрат: для небольшого подразделения — $ 400000-600000, для большого подразделения — $800000-1500000, для большой корпорации — $15000000.

Возрастает надежность данных для принятия решений. Данные, загружаемые в хранилище данных, подвергаются очистке — согласуются, проверяются, уточняются.

Геопространственный анализ данных. Анализ такой информации имеет решающее значение в принятии решений по всем вопросам, связанным с географией бизнеса.

Исследование трендов и колебаний в бизнес-данных. Позволяет достаточно надежно прогнозировать развитие бизнес-процессов организации во времени.

Лекция 12

Краткая история облачных вычислений.

Термин «Облако» (cloud) используется как метафора, основанная на изображении Интернета на диаграмме компьютерной сети, или как образ сложной инфраструктуры, за которой скрываются все технические детали. Широко распространенное формальное определение облачных вычислений было предложено Национальным институтом стандартов и технологий США:

«Облачные вычисления представляют собой модель для обеспечения по требованию удобного сетевого доступа к общему пулу настраиваемых вычислительных ресурсов (например, сетей, серверов, систем хранения данных, приложений и услуг), которые можно быстро выделить и предоставить с минимальными управленческими усилиями или минимальным вмешательством со стороны поставщика услуг».

Что же не считают облачными вычислениями? Во-первых, это автономные вычисления на локальном компьютере. Во-вторых, это "коммунальные вычисления" (utility computing), когда заказывается услуга исполнения особо сложных вычислений или хранения массивов данных. В-третьих, это коллективные (распределённые) вычисления (grid computing). На практике границы между всеми этими типами вычислений достаточно размыты. Однако будущее облачных вычислений всё же значительно масштабнее коммунальных и распределённых систем.

1. История и ключевые факторы развития

Для того чтобы понять что такое «облако» стоит начать с истории данного вопроса. Необходимо понять: действительно ли эта технология находится в разряде новых идей или эта идея не так уж и нова.

Самым важным вопросом, на который необходимо ответить при рассмотрении истории появления этого термина, это определение этого термина. До сих пор нельзя однозначно сказать, кто впервые использовал термин "облако", но, по некоторым источникам, происхождение термина относится к традиции использовать облака в рисунках компьютерных коммуникационных инфраструктур. В общем смысле термин "облако" используется как синоним термину " Интернет", в конкретных же реализациях под "облаком" могут пониматься как удалённые серверы, так и сетевая инфраструктура, так и всё целиком.

Однако необходимо понимать, что "облако" не является концепцией революционной, возникшей в один момент, но является концепцией эволюционной, выросшей из идей и технологий, начало которых датируется 50-ми годами 20-го века, когда владельцы больших мейн-фреймов (академические учреждения и корпорации), стремились оптимизировать загрузку этих мощностей таким образом, чтобы получить максимальную от этого максимальную эффективность и прибыль. Стремление к оптимизации привело к возникновению идеи удалённого доступа на временной основе, когда пользователи использовали существующие ресурсы всё доступное время, таким образом нивелируя проблему простаивания ресурсов.

Следующими важнейшими вехами в истории концепции облачных вычислений стало заявление Джона МакКарти, компьютерный исследователь, известный своими разработками (создатель термина " Artificial Intelligence" и языка программирования Lisp), о том, что "вычислительные мощности могут когда-нибудь стать публично доступными ресурсами", и выпуск в 1966 году книги Дугласа Пархилла "The Challenge of the Computer Utility", в которой он описал практически все основные характеристики существующих сегодня облаков, а также впервые употребив сравнение с электрической сетью.

Идея того, что сейчас мы называем облачными вычислениями, впервые была озвучена Джозефом Карлом Робнеттом Ликлайдером (J. C.R. Licklider) в 1970году, когда он был ответственным за разработку ARPANET (Advanced Research Projects Agency Network). Идея Линклайдера заключалась в том, что каждый человек будет подключен к сети, из которой он будет получать не только данные, но и программы. Другой ученый Джон Маккарти (John McCarthy) говорил о том, что вычислительные мощности будут предоставляться пользователям как услуга (сервис). На этом развитие облачных технологий было приостановлено до 90-х годов. Ее развитию поспособствовали ряд факторов:

Стремительное развитие сети Интернет, а именно пропускной способности. Хотя в начале 90-х глобальных прорывов в области облачных технологий не произошло, сам факт «ускорения» Интернета дал толчок к скорейшему развитию технологии. В 1999 году появилась компания , которая предоставила доступ к своему приложению через сайт. Эта компания стала первой компанией, предоставившей свое программное обеспечение по принципу «программное обеспечение как сервис» (SaaS). В 2002 году Amazon запустила свой облачный сервис, где пользователи могли хранить информацию и проводить необходимые вычисления. В 2006 году Amazon запустила сервис Elastic Compute cloud (EC2), где пользователи могли запускать свои собственные приложения. Таким образом, сервисы Amazon EC2 и Amazon S3 стали первыми сервисами облачных вычислений. Свой вклад в развитие облачных вычислений внесла компания Google со своей платформой Google Apps для веб-приложений в бизнес секторе. Развитие аппаратного обеспечения (а именно создание многоядерных процессоров и увеличение емкости накопителей информации) и технологий виртуализации (в частности программного обеспечения для создания виртуальной инфраструктуры, например, Xen-виртуализация) способствовало не только развитию, но и большей доступности облачных технологий.

Далее, более 40 лет, история облачных вычислений продолжала развиваться, концепция постепенно выкристаллизовывалась, до тех пор, пока в 2006 года компания Amazon не запустила платформу Amazon Web Service (AWS), модернизировав свои центры обработки данных, которые, как и большинство компьютерных инфраструктур, использовали лишь 10% от их емкости. Можно считать, что компания Amazon сыграла ключевую роль в открытии рынка облачных вычислений во всем мире, оптимизировав как собственные ресурсы, так и начав получать с ранее простаивавших ресурсов прибыль. Спустя всего несколько лет, в 2008 году, были анонсированы облачные платформы от Microsoft и Google, Windows Azure и Google App Engine соответственно. В 2010 году увидел свет первый выпуск платформы Windows Azure. Начиная с примерно 2008 года рынок облачных вычислений начал стремительно вырастать, заполняясь как топовыми игроками (Amazon, Microsoft, Salesforce, Google, HP, Dell, AT&T, RackSpace), так и организациями, предлагающими облачные ресурсы для решения конкретных задач ( Engine Yard, gCloud3, OrangeScape). В последнее время облачными вычислениями начали всерьёз интересоваться исследователи и научные учреждения (в т. ч. академические), начали защищаться научные работы об облачных вычислениях.

Облачные (рассеяные) вычисления (англ. cloud computing, также используется термин Облачная (рассеянная) обработка данных) — технология обработки данных, в которой компьютерные ресурсы и мощности предоставляются пользователю как Интернет-сервис. Пользователь имеет доступ к собственным данным, но не может управлять и не должен заботиться об инфраструктуре, операционной системе и собственно программном обеспечении, с которым он работает. Термин «Облако» используется как метафора, основанная на изображении Интернета на диаграмме компьютерной сети, или как образ сложной инфраструктуры, за которой скрываются все технические детали. Согласно документу IEEE, опубликованному в 2008 году, «Облачная обработка данных — это парадигма, в рамках которой информация постоянно хранится на серверах в интернет и временно кэшируется на клиентской стороне, например, на персональных компьютерах, игровых приставках, ноутбуках, смартфонах и т. д.