Руководство пользователя

Руководство пользователя contour components

Data Warehouse Engine

Руководство пользователя

Data Warehouse Engine

руководство пользователя

<4.0.02.05> [<4.0.00.02>]

<08.09.2009>

ã Copyright 2009 Contour Components Co., Ltd.

All rights reserved

21 Sushevskaya str., Moscow, Russia

Оглавление

Список изменений 2

Введение 3

Документация по системе 3

Обзор 3

Соглашения 4

Терминология 4

Введение в Contour DWH 5

Перед началом работы 5

Начало работы 6

Установка Contour DWH 6

Настройка Contour DWH 7

Запуск компонентов Contour DWH 8

Запуск XML процессора 8

Запуск сканера 8

Запуск конструктора модели 9

Работа в системе 10

Создание модели хранилища данных 10

Справочники 11

Классификаторы 12

Временные ряды 13

Представления 14

Загрузка данных 14

Выгрузка данных 15

Проблемы и решения 16

Предметный указатель 17

Список изменений

Версия	Дата	Изменение	Кто сделал
4.0.00.00	27.07.2009	Draft	Igor Mejuev
4.0.00.01	05.08.2009	Дополнены Проблемы и решения	Igor Mejuev
4.0.00.02	08.09.2009	Изменения настроек журнализации	Igor Mejuev

&

Введение

Данное руководство описывает программное обеспечение Contour Data Warehouse Engine (далее Contour DWH или просто 'система').

Документ предназначен для пользователей и администраторов Contour DWH и описывает его назначение, возможности и применение.

Документация по системе

Документация по Contour DWH включает данное руководство в форматах Microsoft Word, PDF и CHM.

При установке файлы документации копируются в папку docs в каталоге установки системы.

Обзор

Руководство содержит следующие разделы:

Введение	Введение в руководство и соглашения.
Введение в Contour DWH	Краткое описание назначения Системы и ее функций.
Начало работы	Замечания по настройке Системы и особенности ее запуска.
Работа в Системе	Порядок выполнения функций пользователя Системы.
Проблемы и решения	Сообщения Системы, предупреждения и порядок действий пользователя по решению возникающих проблем.

Соглашения

В Системе используются следующие приемы выделения ключевой информации:

Обозначение	Назначение
Данные	Данные, выводимые Системой (сообщения, вывод статистики); данные, вводимые пользователем; элементы программного интерфейса.
ABC. txt	Имена файлов и папок (директорий).
Кнопка	Наименования элементов пользовательского интерфейса; клавиш на клавиатуре, наименования подпунктов в разделах (меток).
Меню > Пункт 1 > Пункт 2	Цепочка команд, последовательно выбираемых пользователем из меню программы или вводимых с клавиатуры.
<Ctrl+A>	Комбинация клавиш на клавиатуре. В данном случае: нажать клавишу Ctrl, и удерживая ее, нажать клавишу A. По умолчанию считается, что используется английская раскладка. Использование русской раскладки оговаривается дополнительно (напр., <Ctrl+A рус.>).
Выделение	Выделение текста курсивом для привлечения внимания читателя.
Термин	Наименование определяемого термина или особое выделение наименования элемента пользовательского интерфейса, клавиши на клавиатуре или подпункта в разделе (метки).
Примечание	Дополнительная информация или важное соглашение.

Терминология

В таблице приведено описание терминов, встречающихся в документе.

Термин	Описание
Ввести, указать	Напечатать текст или числовое значение.
Выбрать	Выбрать команду меню, командную кнопку, элемент списка.
Выделить	Выделить текст в поле ввода или строку в списке записей.
Снять отметку	Отменить установку флажка.
Перетащить	Нажать клавишу мыши (по умолчанию — левую) и, удерживая ее нажатой, переместить захваченный объект на новое место.
Установить, отметить	Установить флажок, переключатель.
Щелкнуть (на)	Нажать и тут же отпустить кнопку мыши (по умолчанию — левую).
Щелкнуть дважды	Дважды быстро нажать и отпустить кнопку мыши (по умолчанию — левую).

Часть 1

Введение в Contour DWH

Хранилище Данных – программная система, предназначенная для сбора данных из разнородных источников в единую информационную модель, хранения и предоставления собранных данных потребителям в виде пригодном для выполнения анализа и поддержки процесса принятия решений.

Contour DWH – Хранилище, выполняющее сбор и хранение данных в виде временных рядов (time series) и связанных с ними аналитик.

Центральными приложениями Contour DWH являются:

·  XML процессор, реализован как модульное приложение, которое создает, или удаляет таблицы ХД, а также осуществляет загрузку данных, выгрузку данных и синхронизацию с другим ХД. На вход генератора передается XML файл с информацией о загружаемых данных и пакет самих данных в текстовом формате CSV. На основании этой информации и внутренних представлений генератор реализует последовательность SQL команд к БД. В результате выполнения этих команд входящая информация преобразуется в таблицы и строки таблиц БД.

·  Scanner - это приложение, работающее в цикличном режиме просмотра каталогов. Его работа заключается в передаче данных из каталогов, описанных в файле настройки, в XMLprocessor, с последующей загрузкой в ХД.

·  Конструктор модели - приложение Microsoft InfoPath, позволяющие редактировать модель хранилища данных.. Приложение представляет модель ХД, в виде таблицы, отображающей колонки таблиц и представлений, из которых состоит ХД.

Установка Contour DWH может быть выполнена несколькими способами: с помощью установщика, имеющего графический интерфейс или через командную строку(консоль)

Хранилище данных Contour DWH является кросс платформенным и поэтому может использоваться в различных операционных системах семейства Windows и Linux, а также работать со многими СУБД: MS SQL, Oracle, MAXDB.

Данные в ХД могут загружаться во время загрузки модели ХД, на этапе создания таблиц в базе данных и непосредственно загрузкой данных в виде текстового файла CSV с описателем XML, что позволяет использовать выгрузку ETL пакетов программ Contour Reporter, Publisher.

Перед началом работы

Для работы Contour DWH необходима установка Java Runtime Environment версий 1.5 или 1.6. Проверить установленную версию Java можно выполнив из командной строки java - version.

Для использования Конструктора модели необходимо установить Microsoft Office InfoPath 2003.

Часть 2

Начало работы

Установка Contour DWH

Система Contour DWH может устанавливаться на различные операционные системы семейства WINDOWS и LINUX

Для установки системы на WINDOWS нужно запустить ContourDWHStandard-win32.exe. После того как распакуется архив с файлами для работы установщика, откроется диалоговое окно с выбором языка системы. Выберите язык, затем будет показано лицензионное соглашение, с которым необходимо согласится для дальнейшей установки. В следующем диалоговом окне настраивается путь для каталога установки системы. Затем выберите, какие компоненты системы устанавливать

·  База - является основным модулем в установке.

·  Документация - описание системы.

·  Образцы - примеры файлов: модели, запросов для выгрузки.

·  Сканер - установка приложения Сканер

·  Сервис сканера - возможность запускать Сканер, как службу WINDOWS

·  MaxDB - установка БД MaxDB

После выбора компонентов установки, выберите тип базы данных, на которой будет работать ХД, затем нажмите кнопку Далее, настройте соединение с БД.

Затем выберите тип активации системы Contour DWH

·  Служба поддержки - используется при отсутствии интернет соединения или доступа к серверу активации. Необходимо сообщить отображаемый Номер активации службе поддержки и указать путь к полученному файлу лицензии. Файл имеет расширение *.lic

·  Сервер активации - указывается адрес сервера активации и серийный номер системы

Для установки системы на LINUX нужно запустить установочный файл ContourDWHStandard-linux, для этого в LINUX должен быть графический интерфейс X-WINDOWS, последующие действие аналогичны действиям при установке в ОС WINDOWS

Для установки в консольном режиме выполните: java -jar ContourDWHStandard. jar - console.

Настройка Contour DWH

Программа установки Contour DWH создает конфигурационный файл dwh. properties в корне каталога установки. Файл содержит параметры соединения с БД и другие параметры, введенные пользователем во время процедуры установки. Параметры конфигурации используются приложениями XML процессор и Сканер. После завершения программы установки, параметры системы можно изменить параметры системы, отредактировав файл dwh. properties. Основные параметры конфигурации описаны в следующей таблице.

Параметр	Описание
db. url	JDBC URL соединения с базой данных.
db. user. login	имя пользователя БД
db. user. password	пароль пользователя БД.
db. schema	схема пользователя; необходимо указывать при работе с SQL Server 2005+
db. driver	JDBC драйвер БД (MS SQL, Oracle, MaxDB)
xmldb. home	папка, в которой будут создаваться файлы Berkeley XML DB (репозиторий моделей)
dwh. table. replacement	режим замены существующих таблиц БД при генерации модели
dwh. date. format	формат даты для загрузки и выгрузки CSV и XML файлов
dwh. loader. threads	число параллельных потоков создаваемых для загрузки данных из CSV
intput. file. home	директория, относительно которой разрешаются имена файлов в параметрах команд
output. file. home	директория, в которую выгружаются файлы при обработке запросов выгрузки данных

Параметры журнализации определяются в файле log4j. xml (формат Apache log4j). Программа установки создает конфигурацию для вывода сообщений на консоль, и записи двух файлов:

receipt. log - сообщения о статусе обработки файлов dwh. log - все сообщения информационного уровня

Файлы журнала создаются в папке. dwh в домашней директории пользователя.

Журнализация log4j поддерживает конфигурируемые уровни сообщений, фильтрацию по категориям, ротацию журналов, передачу сообщений по сети и запись журнала в базу данных. Для просмотра, фильтрации и мониторинга журналов можно использовать сторонние приложения LogView4J и Apache Chainsaw.

Файлы dwh. properties и log4j. xml загружаются из папки. dwh в домашней директории пользователя, или, если файлы не найдены, из каталога установки системы.

Запуск компонентов Contour DWH

Запуск XML процессора

Для запуска XML процессора необходимо перейти в каталог установки системы, и выполнить команду хmlprocessor (Windows) или xmlprocessor. sh (Linux). При выполнении команды без указания параметров, на консоль выводится краткая справка по параметрам запуска.

-model имя файла - этот параметр используется для загрузки модели и последующего создания таблиц и представлений в БД. После ключа model указывает XML файл, который описывает структуру ХД. Пример: xmlprocessor - model model_name. xml -data имя файла - этот параметр используется для загрузки данных в ХД. После ключа указывается имя XML файла, содержащего информацию о структуре и типе выгружаемых данных, а так же указания имен файлов CSV содержащих данные для загрузки. Пример: xmlprocessor - data file. xml -sync имя ХД - этот параметр используется для синхронизации данных между ХД, имеющими одинаковую структуру (модель). После ключа указывается имя ХД, с которым будет синхронизироваться текущее ХД. Пример: xmlprocessor - sync DWH_2 -query имя файла - этот параметр используется для выгрузки данных из ХД, используя XML файл описывающий структуру выгружаемых данных. Пример: xmlprocessor - query filename. xml -drop имя ХД - этот параметр используется для удаления таблиц, описанных в модели ХД. Пример: xmlprocessor - drop model_name. xml -sdmx имя файла - этот параметр используется для загрузки SDMX данных

Запуск сканера

Для запуска сканера из командной строки необходимо в каталоге установки программы перейти в подкаталог scanner\BIN, и выполнить scanner. cmd (Windows) или scanner. sh (Linux).

Для платформы Windows

  Если при установке программы была выбрана установка компоненты Сервис сканера, выполнением сканера также можно управлять из окна Службы (Services) Windows. Зайдите в меню ПускàВыполнить и введите services. msc. Выберите из списка DWH Scanner, затем Start или Stop из контекстного меню.

Запуск конструктора модели

После установки Microsoft InfoPath, Конструктор модели можно запустить, щелкнув на имени файла модели в Обозревателе Windows. Пример модели InfoPath находится в папке samples в каталоге установки системы:

Для создания новой модели перейдите в папку gui в каталоге установки программы, щелкните NewModel. xml и выберите пункт меню ФайлàСохранить как.

Microsoft InfoPath позволяет редактировать только файлы, которые первоначально были созданы в редакторе InfoPath. Для редактирования моделей, созданных другими редакторами, необходимо добавить инструкции mso-infoPathSolution и mso-application в заголовок xml файла. Инструкции можно скопировать из файла gui\NewModel. xml или samples\model_infopath. xml.

Часть 3

Работа в системе

Создание модели хранилища данных

Модель является XML файлом, описывающим структуру ХД - справочники, классификаторы, временные ряды и представления.

Формат модели

<?xml version="1.0" encoding="windows-1251"?>

<Model caption="заголовок модели"

xmlns="urn:contourcomponents"

xmlns:ref="urn:contourcomponents:reference"

xmlns:cls="urn:contourcomponents:classifier"

xmlns:series="urn:contourcomponents:series"

xmlns:view="urn:contourcomponents:view"

xmlns:data="urn:contourcomponents:data">

<References xmlns="urn:contourcomponents:reference">

Справочники

</References>

<Classifiers xmlns="urn:contourcomponents:classifier">

Классификаторы

</Classifiers>

<SeriesList xmlns="urn:contourcomponents:series">

Наборы данных

</SeriesList>

<Views xmlns="urn:contourcomponents:view">

Представления

</Views>

</Model>

Модель можно создавать и редактировать с помощью конструктора модели InfoPath.

Справочники

Справочник - это таблица, содержащая в себе значения агрегатов, так как во временных рядах находятся только коды агрегата, то для отображения в представлениях значений используются справочники. Так же, использование справочников позволяет перегружать значения агрегатов, не затрагивая временные ряды. Пример: в хранилище содержится информация о продаже товаров, справочник может содержать информацию о товарах какой-то группы, например зерновые культуры и при изменении имен зерновых культур, нужно загрузить новый справочник с новыми именами.

Формат XML

<References xmlns="urn:contourcomponents:reference">

<Reference code="код справочника" caption="заголовок справочника" version="1.0">

<Table>физическое имя таблицы справочника</Table>

<Attributes xmlns="urn:contourcomponents:data">

Список расширенных атрибутов справочника

<Rows xmlns="urn:contourcomponents:data">

Записи справочника

</Rows>

</Reference>

</References>

Описание колонок таблиц, справочников

row_id, тип: целое число. code, тип: строка до 32 символов переменной длины. value, тип: строка до 255 символов переменной длины; version, тип: строка до 32 символов переменной длины viewpoint, тип дата wf_status, тип: строка до 64 символов переменной длины

Первичный ключ: row_id

Расширенные атрибуты справочника

Формат XML

<Attributes xmlns="urn:contourcomponents:data">

<Attribute code="код атрибута" caption="заголовок атрибута">

<Field>имя поля</Field>

<DataType>тип поля</DataType>

</Attribute>

</Attributes>

Классификаторы

Классификатор - это таблица, в которой содержится систематизированный перечень наименований типов агрегатов, каждому из которых в соответствие дан уникальный код. Классификация объектов производится с помощью указания уровня данного типа агрегата. Например: классификатор территориального деления. Страна, город, улица.

Формат XML

<Classifiers xmlns="urn:contourcomponents:classifier">

<Classifier code="код классификатора" caption="заголовок классификатора">

<Table>имя физической таблицы классификатора</Table>

<Levels>

Уровни классификатора

</Levels>

</Classifier>

</Classifiers>

Описание колонок таблиц

pair_id, тип: целое число. parent_code, тип: строка до 32 символов переменной длины. parent_id, тип: целое число. node_code, тип: строка до 32 символов переменной длины. node_id, тип: целое число. level_tier, тип: целое число rec_status, тип: целое число version, тип: строка до 32 символов переменной длины viewpoint, тип дата wf_status, тип: строка до 64 символов переменной длины

Первичный ключ: pair_id

Временные ряды

Временные ряды - это таблицы, содержащие основные данные ХД.

Формат XML

<SeriesList xmlns="urn:contourcomponents:series">

<Series code="код набора данных" caption="заголовок набора данных">

<Table>физическое имя таблицы фактов</Table>

<Dimensions>

Измерения

</Dimensions>

<TimeDimension code="код измерения времени">

<PeriodType>тип периода</PeriodType>

</TimeDimension>

<Measures>

Факты

</Measures>

<Rows data:operation="load" xmlns="urn:contourcomponents:data">

Записи набора данных

</Rows>

</Series>

</SeriesList>

Описание колонок таблиц

·  row_id, тип: целое число.

·  nodel_code тип: строка до 32 символов переменной длины

·  rec_status тип: целое число

version, тип: строка до 32 символов переменной длины viewpoint, тип дата wf_status, тип: строка до 64 символов переменной длины

Первичный ключ: row_id

Представления

Представления - это виртуальные таблицы, которая отображает конечную, выдаваемую для анализа информацию. В ней данные отображаются не кодами, а значениями, которые выбираются из справочников. Так же представление может отображать информацию из временного ряда.

Формат XML

<Views xmlns="urn:contourcomponents:view">

<View code="код представления" caption="заголовок представления">

<Series>код временного ряда</Series>

<Table>физическое имя представления</Table>

<Dimensions>

Список измерений отображаемых в представлении

</Dimensions>

<Measures>

Список фактов отображаемых в представлении

</View>

</Views>

Загрузка данных

Данные в ХД могут загружаться несколькими способами

при первоначальной загрузке модели, так как модель может содержать данные через XML процессор, с указанием параметра -data имя xml файла описателя из папки IN, при запущенном Сканере

XML формат описателя CSV данных:

<?xml version="1.0" encoding="WINDOWS-1251" standalone="yes" ?>

<CSVPackage modelId="mcx_dwh_model">

<Separator>разделитель csv-формата</Separator>

<QuoteChar>символ escape последовательности</QuoteChar>

<References>

<Reference code="код справочника" file="имя csv-файла с данными"/>

</References>

<Classifiers>

<Classifier code="код классификатора" file="имя csv-файла с данными"/>

</Classifiers>

<SeriesDataList>

<SeriesData code="код набора данных" file="имя csv-файла с данными"

version="версия набора данных" viewpoint="dd-MM-yyyy">

<DataProvider>провайдер данных</DataProvider>

<Period>dd-MM-yyyy</Period>

</SeriesData>

</SeriesDataList>

</CSVPackage>

Примеры описателей CSV данных и CSV файлов устанавливаются в папку samples в каталоге установки системы

Выгрузка данных

Contour DWH позволяет выгружать данные ХД в CSV и XML файлы. При выгрузке данных в формат CSV также генерируется XML описатель CSV данных. Для выгрузки данных из ХД нужно запустить xmlprocessor. cmd с параметром -query

Пример: xmlprocessor. cmd - query query_file. xml

XML формат запроса выгрузки данных:

<?xml version="1.0" encoding="WINDOWS-1251" standalone="yes" ?>

<Query xmlns="urn:contourcomponents:query">

<ReferenceList>

<Reference code="код справочника" file="имя xml или csv файла" format="xml или csv">

<Condition>

Условие выборки данных

</Condition>

</Reference>

</ReferenceList>

<ClassifierList>

<Classifier code="код классификатора" file="имя xml или csv файла" format="xml или csv"/>

<Condition>

…

</Condition>

</ClassifierList>

<SeriesList>

<Series code="код набора данных" file="имя xml или csv файла" format="xml или csv"/>

<Condition>

…

</Condition>

</SeriesList>

</Query>

Условие выборки данных может содержать выражения equals и between для значений колонок выгружаемых данных. Условие выборки является необязательным, при отсутствии условия выгружаются все данные.

Пример файла запроса устанавливается в папку samples в каталоге установки системы

Проблемы и решения

В данном разделе описываются ситуации, в которых Вы можете столкнуться с проблемами, и показано, каким образом они могут быть разрешены.

В определенных случаях Система может отображать нижеследующие предупреждения и сообщения об ошибках.

The TCP/IP connection to the host has failed. . ConnectException: Connection refused: connect

Необходимо убедится, что порт прослушивателя сервера БД сконфигурирован правильно, и порт не блокируется брандмауэром операционной системы. Порт прослушивателя для соединения с БД указывается в файле конфигурации dwh. properties, например:

db. url=jdbc:sqlserver://localhost:1433;SelectMethod=cursor;DatabaseName=dwh

Для SQL Server 2000, порт прослушивателя можно получить, выбрав сервер в списке Enterprise Manager, затем PropertiesàNetwork ConfigurationàTCP IPàProperties. Для сервера БД, установленного в системе Windows XP, открыть порт прослушивателя в брандмауэре можно, выполнив: Control PanelàSecurity CenteràWindows FirewallàExceptionsàAdd port

Login failed for user 'user'. The user is not associated with a trusted SQL Server connection.

Это сообщение об ошибке появляется, если в SQL Server используется режим проверки подлинности Windows. Для соединения с использованием проверки подлинности Windows необходимо, в файле конфигурации dwh. properties:

добавить параметр integratedSecurity в URL соединения, например: db. url=jdbc:sqlserver://localhost:1433;SelectMethod=cursor;integratedSecurity=true;DatabaseName=dwh

·  в свойстве db. schema задать имя пользователя базы данных (SQL Server 2000), либо схему пользователя базы данных (SQL Server 2005), соответствующее домену проверки подлинности Windows. Для SQL Server 2000, имя пользователя базы данных, соответствующее домену можно получить, выбрав сервер в списке Enterprise Manager, затем SecurityàLoginsà<Domain>àDatabase Access

Режим проверки подлинности Windows не поддерживается для клиентов в операционной системе Linux.

There is already an object named 'table name' in the database. или Таблица 'table name' не найдена.

Сообщения появляются при соединении с SQL Server 2005, если в параметрах конфигурации не указано свойство db. schema. Схему пользователя можно получить, выбрав сервер в списке SQL Server Management Studio, затем

Базы данныхà<database>àБезопасностьàПользователиà<user>àСвойстваàСхема по умолчанию

Предметный указатель

Scanner, 5

time series, 5

XML процессор, 5

Конструктор модели, 5

Хранилище Данных, 5