Обзор служб интеграции SQL Server 2008 (стр. 1 )

Обзор служб интеграции SQL Server 2008

Техническая статья по SQL Server

Автор: Камаль Хати (Kamal Hathi)

Обновление: Джефф Элликс (Geoff Allix)

Научный рецензент: Рам Раманатам (Ram Ramanathan)

Редактор проекта: Джоан Ходжинс (Joanne Hodgins)

Опубликовано: май 2005 г.

Обновлено: ноябрь 2007 г.

Относится к: SQL Server 2008

Аннотация В этой статье обсуждаются задачи, с которыми сталкиваются организации, использующие технологии интеграции данных для получения осмысленной и надежной информации. Это обеспечивает им преимущества в конкурентной борьбе в современном мире бизнеса. В статье также рассматривается, как службы интеграции SQL Server 2008 Integration Services (SSIS) помогают ИТ-отделам отвечать на требования к интеграции данных в своих компаниях. Включен ряд примеров из реальной практики.

О защите авторских прав

Этот документ носит предварительный характер и может быть существенно изменен до выхода окончательной коммерческой версии описанного в нем ПО.

В этом документе отражено мнение корпорации Майкрософт по обсуждаемым вопросам на момент его публикации. Поскольку Майкрософт вынуждена реагировать на изменения конъюнктуры рынка, изложенное здесь не следует рассматривать как обязательства со стороны Майкрософт. Майкрософт также не может гарантировать точность представленной в документе информации после его публикации.

Данная официальная статья предназначена только для ознакомительных целей. МАЙКРОСОФТ НЕ ДАЕТ НИКАКИХ ГАРАНТИЙ, ЯВНЫХ ИЛИ ПОДРАЗУМЕВАЕМЫХ, ОТНОСИТЕЛЬНО ДАННОГО ДОКУМЕНТА.

Ответственность за соблюдение авторских прав возлагается на пользователя. Воспроизведение любой части данного документа, ввод в системы хранения данных, хранение и передача в любом виде и любыми средствами (механическими, электронными и пр.) без предварительного письменного разрешения корпорации Майкрософт является нарушением авторских прав.

Майкрософт может владеть патентами, патентными заявками и другими правами на интеллекутальную собственность, касающимися содержимого данного документа. Предоставление документа не дает права на использование этих патентов, товарных знаков и других прав интеллектуальной собственности за исключением явно оговоренных в письменном лицензионном соглашении с Майкрософт.

Если не сказано обратное, все названия компаний, организаций, товаров, доменные имена, почтовые адреса, логотипы, имена людей, названия населенных пунктов и события, упоминающиеся в тексте, являются вымышленными и не имеют отношения к реальным организациям, предметам, лицам и событиям, все совпадения являются случайными.

© 2007 Корпорация Майкрософт. Все права защищены.

Microsoft, Office Excel, Reporting Services, Visual Basic, Visual C#, Visual C++ и Visual Studio являются либо охраняемыми товарными знаками, либо товарными знаками корпорации Microsoft в США и/или других странах.

Все остальные товарные знаки, упомянутые в данном документе, являются собственностью своих владельцев.

Содержание

Введение. 1

Пример из практики. 1

Источники данных. 1

Использование данных. 1

Требования к интеграции данных. 1

Проблемы интеграции данных. 2

Технологические проблемы. 2

Организационные проблемы. 5

Проблема эффективности. 5

Проблема комфортной зоны. 5

Экономические проблемы. 5

Службы интеграции SQL Server 2008. 6

Архитектура SSIS. 6

Ядро поддержки потока задач и потока данных. 6

Архитектура конвейера. 6

Поддержка подключений через . 7

Поддержка пула потоков. 7

Кеширование данных при операциях поиска. 8

Варианты интеграции. 8

Применение SSIS для передачи данных. 8

Применение SSIS для загрузки данных в информационное хранилище. 9

SSIS и качество данных. 13

Применение SSIS за рамками традиционных ETL-операций. 15

SSIS как платформа интеграции. 17

Упрощение интеграции данных. 21

Заключение. 22

Введение

Возможность преобразовывать корпоративные данные в осмысленную и полезную для принятия решений информацию — самое важное преимущество в конкурентной борьбе в мире современного бизнеса. Одной из серьезнейших задач для ИТ-отделов в глобальных организациях стало обуздание взрывного роста объема данных, чтобы лучше понимать прошлые успехи и неудачи и чтобы выбрать направление на будущее. С интеграцией данных связано три широких категории проблем:

•  технологические;

•  организационные;

•  экономические.

В данной статье мы детально исследуем все эти задачи и обсудим, как справиться с ними, используя службы интеграции Microsoft® SQL Server™ 2008 Integration Services (SSIS). Но сначала рассмотрим их в контексте реального примера из практики.

Пример из практики

Крупная глобальная транспортная компания использует информационное хранилище для анализа эффективности своих операций и для предсказания отклонений в запланированных сроках поставок.

Источники данных

Основные данные в этой компании поступают из системы приема заказов на основе DB2 (сведения по заказам), системы управления взаимосвязями с клиентами (CRM) на основе SQL Server (информация по клиентуре) и ERP-системы на основе Oracle (данные по подрядчикам). Помимо данных из этих основных систем, включаются данные из электронных таблиц, в которых отслеживаются «экстраординарные» события в хранилище данных и которые руководители групп перевозок (shipping supervisors) вводят самостоятельно. В настоящее время интегрируются такие внешние данные, как информация о погоде, интенсивность движения транспорта и детальные сведения о подрядчиках (для поставок по субподрядам), из текстовых файлов, получаемых из разных источников с некоторой задержкой.

Использование данных

Различаются не только источники данных, но и клиенты — как по своим требованиям, так и по территориальному расположению. Это разнообразие привело к быстрому росту числа локальных систем. Одно из основных направлений усилий, прилагаемых ИТ-отделом, — создание «единственной версии истины», по крайней мере для данных по клиентуре.

Требования к интеграции данных

Перед лицом такого разнообразия данных, потребностей бизнеса и пользователей ИТ-отдел выработал следующий набор требований к интеграции данных.

•  Нужно добиться надежности и согласованности исторических и текущих данных, интегрируемых из самых разных внешних и внутренних источников.

•  Чтобы уменьшить задержки в сборе данных, информация от поставщиков и подрядчиков должна поступать через веб-службы или какой-то иной механизм прямой передачи данных, например по FTP.

•  ИТ-отдел должен удалять дублирующиеся данные, а также обеспечивать качество данных другими способами.

•  Ужесточение глобального законодательства требует от компании вести четкие и подробные аудиторские отчеты. Этого недостаточно для сохранения надежности данных — их нужно отслеживать и сертифицировать.

Проблемы интеграции данных

На отдельно взятом уровне задача интеграции данных в нашем примере из практики чрезвычайно проста. Получаем данные из нескольких источников, очищаем, преобразуем и загружаем их в подходящие хранилища данных для анализа и формирования отчетов. Увы, как показывает опыт, при реализации типичного проекта информационного хранилища или бизнес-анализа предприятия тратят 60–80% доступных ресурсов на стадии интеграции данных. Откуда такие сложности?

Технологические проблемы

Эти проблемы начинаются с систем-источников. Мы переходим от сбора данных при транзакциях (в ходе которых клиенты покупают или иным образом получают что-либо) к сбору данных на этапах, предшествующих транзакциям (где с помощью таких механизмов, как маркетинговая служба Web Clicks или теги RFID, отслеживаются намерения клиентов). Данные теперь извлекаются не только из традиционных источников и в привычных форматах вроде баз данных или текстовых файлов, но и во все возрастающем разнообразии форматов (от файлов с закрытыми форматами до документов Microsoft Office и XML) и из Интернет-источников, таких как веб-службы и RSS-каналы (Really Simple Syndication). Вот наиболее серьезные проблемы:

•  множество источников с разными форматами данных;

•  смесь структурированных, полуструктурированных и вообще неструктурированных данных;

•  системы-источники передают данные в разное время;

•  огромные объемы данных.

В идеале, даже если вы как-то ухитритесь собрать все нужные данные в одном месте, то столкнетесь с новыми проблемами, в частности с:

•  качеством данных;

•  обработкой множества разных форматов данных;

•  преобразованием данных в формат, имеющий смысл для бизнес-аналитиков.

Допустим, что вы сумели волшебным образом получить все необходимые данные, а затем очистить, преобразовать и перевести их в удобный формат. Все равно сохраняется необходимость в уходе от традиционной передачи данных и интеграции. То есть в переходе от процессов, ориентированных на выполнение пакетов и имеющих фиксированную длительность, к постоянно меняющимся и более скоротечным процессам, запускаемым по требованию. В большинстве организаций пакетно-ориентированные процессы запускаются в периоды относительного «простоя» («downtimes»), когда нагрузка на систему невелика. Обычно это происходит по ночам в течение преопределенных окон в 6-8 часов, когда предполагается, что в офисе никого нет. Но из-за растущей глобализации компаний любых типов и масштабов это уже не так. Такое окно очень мало (если вообще есть), и в каком-то из офисов в одной из частей мира кто-нибудь да присутствует.

А результат таков:

•  растущая потребность в как можно более быстрой загрузке данных;

•  необходимость одновременной загрузки во множество целевых систем;

•  большое разнообразие целевых систем.

И вы должны не только решить все эти задачи, но и делать это максимально быстро. В крайних случаях, например при наличии онлайнового бизнеса нужно интегрировать данные непрерывно. У вас фактически нет окон для пакетных операций, а задержки не должны превышать считанных минут. Во многих таких случаях процесс принятия решений автоматизируется на основе постоянно работающего ПО.