Пособие предназначеное для специалистов системы Росстата, занимающихся внедрением и эксплуатацией информационных технологий сбора, обработки, хранения и распространения статистической информации (стр. 2 )

Выгрузка данных (заполненные опросные листы) осуществляется в несколько шагов:

Шаг 1 — требуется обеспечить доступ к данным статистического наблюдения через USB соединение или с карты памяти.

Шаг 2 — передача данных статистического наблюдения в программу ввода первичной статистической информации, используя функцию импорта данных. Для этого на ПК запускается специальное программное обеспечение, которое проверяет данные с результатами опросов и преобразует их в единый формат для передачи в систему обработки статистических данных.

Шаг 3 — передача подготовленных данных статистического обследования в систему обработки статистических данных, в соответствии с утвержденным регламентом.

1.7.2. Требования к программно-аппаратному комплексу (ПАК).

Общие требования.

ПАК должен предоставлять пользовательский интерфейс, интуитивно понятный интервьюеру, обладающему минимальными навыками и знаниями о работе устройств, использующих сенсорный экран как основное устройство ввода информации и управления.

ПАК должен обеспечивать возможности контроля использования переносного устройства в личных целях и предоставлять средства контроля состава установленного программного обеспечения.

Все лицензии на поставляемое программное обеспечение должны быть бессрочными, то есть не должны содержать ограничений по срокам на использование лицензиатом данных программных продуктов.

Требования к аппаратному обеспечению (оборудованию).

Технические характеристики ПАК приведены в Таблице 1.

Таблица 1.Технические характеристики и комплект поставки ПАК.

Требования к общесистемному ПО.

Общесистемное программное обеспечение ПАК должно предоставлять интерфейс пользователя и главное меню устройства, обеспечивающие запуск и выполнение следующих функций:

-  Возможность перевода системы в «ждущий режим» (отключение системы с возможностью восстановления состояния системы и запущенных программ на момент отключения);

-  Запуск программ специализированного ПО проведения опросов и обмена информацией с системой обработки статистических данных Росстата;

-  Запуск функций настроек внешнего вида интерфейса пользователя, включая цветовые схемы работы, и калибровку экрана;

-  Запуск сервисного режима работы с устройством для авторизованных пользователей, обеспечивающего доступ непосредственно к файловой системе, функциям, программам и специальным настройкам операционной системы, а также к настройкам главного меню устройства.

Общесистемное ПО должно обеспечивать:

-  Простой и интуитивно понятный пользовательский интерфейс на русском языке, не требующий специальных знаний по работе с ПК и оптимизированный для ввода и управления при помощи пальцев;

-  Ограниченность возможности использования ПАК в личных целях (замкнутое меню пользователя, запрет доступа к функциям операционной системы и установку ПО, если устройство не находится в сервисном режиме);

-  Авторизацию пользователя в начале работы с ПАК и при восстановлении из «ждущего режима»;

-  Двуязычную (английская, русская раскладки) виртуальную QWERTY-клавиатуру.

Требования к специализированному ПО

Специализированное программное обеспечение (СПО) должно обеспечивать процессы: подготовки исходных данных опросов к загрузке на ПАК, проведения персонального интервью с использованием ПАК, выгрузки из ПАК и подготовки результатов интервью для последующего импорта в автоматизированную систему обработки статистических данных Росстата, и состоять из программного обеспечения следующих подсистем:

-  подсистема подготовки исходных данных опросов;

-  подсистема проведения опросов (СПО ПАК);

-  подсистема предварительной обработки результатов интервью.

Обмен данными между СПО подсистем должен осуществляться транспортными файлами. xml-формата. Загрузка/выгрузка транспортных файлов может осуществляться как через твердый носитель (карта памяти), так и с использованием проводного или беспроводного соединения. Внутренняя структура транспортного файла должна соответствовать общепринятым соглашениям на правильно построенный документ. xml.

СПО подсистемы подготовки исходных данных опросов должно размещается на отдельном от ПАК программно-аппаратном комплексе ТОГС (персональный компьютер под управлением ОС Windows XP или совместимой), предоставляемом Заказчиком, и должно обеспечивать:

-  интерфейс загрузки справочников и нормативно-справочной информации из автоматизированной системы Росстата в соответствии с требованиями опросов для подготовки транспортных файлов;

-  подготовку исходных транспортных файлов для загрузки в ПАК в соответствии с видами опросов, планируемых к проведению.

-  СПО ПАК должно размещаться непосредственно на персональном устройстве и предоставлять функционал управления списками текущих опросов, интервью и ввода ответов респондентов и необходимой служебной информации, вводимой интервьюером, в процессе подготовки и проведения персонального интервью, обеспечивающий:

-  авторизацию пользователя при старте СПО и восстановлении системы из «ждущего режима»;

-  подготовку переносных устройств к использованию по выбранному направлению сбора первичной статистической информации (загрузка бланков опросных листов и служебной информации опроса) из транспортных файлов;

-  отображение актуальных для конкретного ПАК списков опросов и результатов интервью;

-  отображение вопросов и ввод в ПУ служебных данных интервью и ответов респондентов при опросах населения эквивалентное опросных листам;

-  форматно-логический контроль ввода получаемых от интервьюируемого данных первичной статистической информации непосредственно в процессе проведении интервью;

-  контроль вводимой первичной статистической информации по выбранному направлению обследования согласно утвержденным правилам ;

-  контекстный вызов справочников нормативно-справочной информации при вводе служебной информации опроса и при необходимости использования в качестве вариантов ответов, а также поддержку функций быстрого поиска по текущему справочнику;

-  просмотр и редактирование заполненных опросных листов до завершения интервью;

-  наличие интегрированной в СПО экранной виртуальной клавиатуры, ориентированной как на работу со стилусом, так и на работу с помощью пальцев;

-  возможность изменять размер шрифтов при отображении опросного листа;

-  видимый в любом режиме работы экранный элемент, с помощью которого можно принудительно активировать/деактивировать интегрированную виртуальную клавиатуру.

-  сохранение результатов всех текущих для конкретного ПАК опросов и интервью (в том числе незавершенных) в транспортном файле;

-  отображение текущего заряда аккумуляторной батареи

-  поддержку основного алгоритма программы проведения опроса представленного на рис.8.

Рис.8. Алгоритм программы проведения опроса

СПО ПАК должно предоставлять средства продолжения проведения опроса при переносе данных с одного ПАК на другой в случае выхода первого ПАК из строя, с сохранением результатов завершенных и незавершенных опросов.

СПО подсистемы предварительной обработки результатов интервью должно размещается на отдельном от ПАК программно-аппаратном комплексе ТОГС (персональный компьютер под управлением ОС Windows XP или совместимой), предоставляемом Заказчиком и обеспечивать:

-  информационную совместимость с имеющимися в Росстате программными средствами ввода и обработки данных обследований, проводимых интервьюерами;

-  выгрузку с ПАК и подготовку данных транспортных файлов в соответствии с требованиями интерфейсов автоматизированного ввода результатов интервью системами обработки статистических данных Росстата.

Рис. 9. Схема интеграции программного обеспечения ПАК с существующей системой сбора первичных статистических данных

Литература

Технический проект на развитие системы сбора, обработки и представления статистических данных, 2009г.

2.  Порядок предоставления первичных статистических данных в электронном виде Росстату, утвержденный приказом Росстата, 2010г.

3.  Положение о сети доверенных удостоверяющих центров Росстата утвержденное приказом Росстата, 2010г.

Временный порядок аккредитации удостоверяющих центров в Сети доверенных удостоверяющих центров Федеральной службы государственной статистики, утвержденный приказом Росстата, 2010г. Проект технического задания на поставку аппаратно-программных средств опроса населения

#Type=Exercise;CompletePercent=75;AttemptCount=0 Тесты к разделу 1 «Система сбора статистической информации».

@

S Датой предоставления первичных статистических данных по формам федерального статистического наблюдения в электронном виде по ТКС считается дата поступления отчета:

N+ в ТОГС или оператору

N - в ТОГС

N - оператору

@

S Считаются ли первичные статистические данные по формам федерального статистического наблюдения предоставленными в ТОГС, если респондент получает уведомление о несоответствии установленному формату:

N+ не считаются

N - считаются

@

S После отправки первичных статистических данных респондент получает от ТОГС в электронном виде уведомление:

N - о приеме первичных статистических данных

N+ о приеме первичных статистических данных в обработку

@

S Программное обеспечение респондента, используемое при предоставлении первичных статистических данных по формам федерального статистического наблюдения в электронном виде по ТКС, должно ли обеспечивать хранение первичных статистических данных по формам федерального статистического наблюдения и иных документов, передаваемых (принимаемых) в электронном виде по ТКС.

N+ да

N - нет

@

S Обязательным ли условием является наличие аккредитации в Сети Доверенных удостоверяющих центров Федеральной налоговой службы

N+ да

N - нет

@

S Подготовку и проведение выборочных обследований с участием в качестве респондентов физических лиц с использованием переносного устройства можно провести:

N - в 1 этап

N - в 2 этапа

N+ в 3 этапа

@

S Исходные данные опросов загружаются в переносные устройства:

N - вручную

N+ с персонального компьютера ТОГС

N - вручную и с персонального компьютера ТОГС

2. Система обработки и хранения статистической информации

2.1. Развитие технологии и средств формирования информационных ресурсов информационно-вычислительной системы Росстата

2.1.1. Общие сведения

В рамках реализации проекта по развитию информационно-вычислительной системы государственной статистики разработана единая система сбора, обработки, хранения и представления статистических данных (ЕССО).

ЕССО предназначена для автоматизации процесса производства статистической информации. В ее состав входит хранилище данных (ХДФУ - на федеральном уровне, ХДРУ – на региональном уровне), содержащее информацию за текущий и прошлые периоды по работам Годового производственного плана работ Росстата.

В соответствии с Годовым производственным планом статистические данные за текущий период формируются в операционных базах (ОБ) ССО статистических работ. ОБ ССО проектируются на основании экономических описаний (ЭО) работ Годового производственного плана Росстата, формируемого в соответствии с федеральным планом статистических работ. Информация за предыдущие периоды содержится в отраслевых базах статистических данных, ЦБСД и других информационных ресурсах Росстата (более 30 баз статистических данных с различной структурой хранения данных). Кроме того, часть информации хранится в Excel и DBF - файлах.

В настоящее время прием статистической информации на Федеральный уровень осуществляется двумя способами: средствами СДС (Система дистанционного сбора статистической информации в формате телеграмм) и средствами СДСФ (Система дистанционного сбора статистической информации в формате файлов). При приеме средствами СДС информация поступает в текстовом формате, при приеме средствами СДСФ - в виде файлов.

После проведения процесса обработки данных вся информация из ОБ ССО должна загружаться в Хранилище данных (ХД) ССО - ХДРУ, ХДФУ. Хранилище предназначено для организации длительного хранения статистических данных за текущий и прошлые периоды времени.

Данные, загружаемые в ХД, должны идентифицироваться кодом показателя по КСП и использовать в своем описании единую НСИ.

В рамках создания ЕССО для Хранилища данных ИВС Росстата разработан механизм формирования витрин. Формирование витрин осуществляется путем создания специальных пакетов заданий на экспорт данных, описывающих источники данных, критерии отбора и выходной формат данных.

В настоящее время большая часть статистических работ переведена на функционирование в среде ЕССО. В процессе перевода спроектированы структуры Хранилища данных (ХДРУ/ХДФУ) для показателей переводимых работ и настроены средства ETL для загрузки данных в хранилище. Таким образом, для переведенных работ обеспечена возможность формирования Хранилища данных из ОБ ССО. Для обеспечения возможности формирования Хранилища данных по показателям оставшейся части статистических работ Федеральной службе государственной статистики необходимы соответствующие услуги по переводу оставшихся работ в среду ЕССО.

Перевод работ осуществляется в соответствии с экономическими описаниями. Экономические описания содержат информацию о входных и выходных данных, логическом и арифметическом контролях, алгоритмах обработки информации, наборах выходных таблиц. Вносимые в экономические описания изменения оформляются как дополнение к ним.

Развитие технологии и средств формирования информационных ресурсов ИВС Росстата предусматривает:

·  Развитие программно-технологических средств обеспечения формирования информационных ресурсов ИВС Росстата (ХДРУ/ХДФУ) и создание унифицированной системы пользовательского доступа к информации хранилища Росстата (ХДРУ/ХДФУ) и ОБ ССО.

·  Разработка программного обеспечения формирования публикационных таблиц для их размещения на Интернет-портале Росстата и формирования статистических сборников.

·  Информационное наполнение единого хранилища данных (ХДФУ) для всех работ Годового производственного плана работ Росстата из действующих информационных ресурсов Росстата.

·  Формирование данных в формате MS Excel для последующей загрузки в Единую межведомственную информационную статистическую систему (ЕМИСС).

·  Перевод статистических работ, реализованных в разнородных программных средах, в ЕССО.

2.1.2. Содержание работ по развитию технологии и средств формирования информационных ресурсов ИВС Росстата

2.1.2.1. Разработка унифицированной системы пользовательского доступа к информационным ресурсам хранилища данных федерального и регионального уровней, ресурсам ССО, развитие программного обеспечения формирования витрин данных.

В данную работу включено:

·  Разработка программного обеспечения для формирования нерегламентированных запросов к ХДФУ/ХДРУ и интерактивных отчетов.

·  Разработка программного обеспечения организации доступа к регламентным таблицам ССО, предусмотренным работами Годового производственного плана работ Росстата.

·  Разработка программного обеспечения, реализующего экспорт данных из ХДФУ в формате MS Excel.

·  Создание программных средств формирования целевых фрагментов хранилища данных с возможностью мониторинга перечня фрагментов и состояния их актуализации.

·  Экспорт данных из ХДФУ в формате MS Excel, для последующей загрузки в ЕМИСС по перечню показателей

·  Проведение обучения сотрудников Росстата работе с унифицированной системой пользовательского доступа к информационным статистическим ресурсам хранилища данных федерального и регионального уровней, ресурсам ССО.

2.1.2.2. Разработка программного обеспечения формирования таблиц статистических сборников для их размещения на Интернет-портале Росстата и Интернет-сайтах ТОГС.

В данную работу включено:

·  Автоматизация процесса формирования таблиц статистических сборников из ХДРУ/ХДФУ с использованием унифицированной системы пользовательского доступа к информационным статистическим ресурсам хранилищ данных федерального и регионального уровней и ресурсам ССО.

·  Подготовка публикационных таблиц пилотного сборника по статистике цен и финансов.

2.1.2.3. Разработка/модификация программного обеспечения загрузки ХДРУ/ХДФУ из информационных ресурсов Росстата (средства ССО, отраслевые базы данных, ЦБСД, Excel-таблицы и др.) с автоматическим контролем процесса загрузки.

Данной работой предусмотрено в том числе:

·  Разработка программных средств визуального контроля данных, загруженных в ХДРУ/ХДФУ по каждому показателю, с соответствующей разрезностью и динамикой.

·  Доработка системы администрирования хранилища Росстата (ХДРУ/ХДФУ) для поддержки целостности данных и диагностики состояния информационных фондов.

·  Перевод в ЕССО работ Годового производственного плана Росстата, разработанных в устаревших средах, в соответствии с экономическими описаниями статистических работ и документацией на ЕССО, включая, в том числе электронный сбор данных, обработку данных в среде ССО на базе УИС «СТАТЭК» версии 2.6.2006. и разработку программных средств, обеспечивающих возможность размещения первичных и агрегированных данных в хранилищах данных регионального и федерального уровней. Состав компонент (федеральный уровень, региональный уровень, районный уровень, средства ввода и контроля) программно-технологического обеспечения определяется экономическим описанием на статистическую работу. В процессе перевода работ в среду ЕССО должен быть обеспечен переход на передачу данных в формате СДСФ.

·  Разработка программных средств операторского ввода данных в ХДРУ/ХДФУ.

2.1.2.4.Загрузка хранилища данных федерального уровня

Загрузка хранилища данных федерального уровня осуществляется:

·  в автоматизированном режиме из информационных ресурсов Росстата с автоматическим контролем процесса загрузки;

·  средствами операторского ввода в соответствии с перечнем показателей, для которых отсутствуют данные в системе электронной обработки.

2.1.3. Основные требования к работам

2.1.3.1. Требования к разработке унифицированной системы пользовательского доступа к информационным ресурсам хранилища данных федерального и регионального уровней, ресурсам ССО и развитию программного обеспечения формирования витрин данных.

Унифицированная система пользовательского доступа к информационным статистическим ресурсам ХДФУ ССО (Федеральный уровень) должна:

·  предоставлять пользователям графический интерфейс, обеспечивающий полный доступ к функциональным возможностям;

·  не требовать от пользователей специальных технических навыков и знаний;

·  иметь возможность локальной и удаленной работы с данными;

·  обеспечить формирование произвольных запросов на получение данных в интерактивном режиме;

·  позволять сохранять сформированный запрос с возможностью дальнейшего использования, корректировки и выполнения;

·  предоставлять возможность регистрации пользователей в системе с возможностью контроля данного процесса администратором системы;

·  обеспечивать разграничение функциональных и информационных возможностей в соответствии с уровнями доступа пользователей;

·  предоставлять доступ к ХД без использования промежуточных (буферных) хранилищ данных, механизмов промежуточного преобразования данных или механизмов предварительной настройки на структуру ХД;

·  обеспечивать защиту от несанкционированного доступа к данным.

При формировании запроса в интерактивном режиме посредствам унифицированной системы пользовательского доступа к ХДФУ ССО должно быть обеспечено:

·  создание макета выходной таблицы с размещением элементов в строках, столбцах и области фильтра;

·  выбор одного или нескольких показателей на всем множестве показателей ХД, включая использование контекстного поиска показателя;

·  выбор одного или нескольких показателей из каталога показателей ХД, включая использование контекстного поиска показателя в каталоге;

·  выбор критериев отбора данных для отображения с применением фильтрации элементов справочников и классификаторов, включая контекстный поиск;

·  изменение макета выходной таблицы и параметров запроса;

·  выполнение запроса и получение результирующей таблицы данных;

·  экспорт полученных данных в форматах XML и MS Excel;

·  при выгрузке в MS Excel данные должны располагаться в таблице в соответствии с заданным макетом.

При формировании интерактивного отчета посредством унифицированной системы пользовательского доступа к ХДФУ ССО необходимо:

·  предоставлять возможность преобразования сохраненного запроса в интерактивный отчет с фиксацией отобранных параметров, настройкой фильтров и представления данных, а также возможностью размещения отчета на Интернет-портале;

·  позволять экспортировать полученные данные в форматах XML и MS Excel;

·  при выгрузке в MS Excel данные должны располагаться в таблице в соответствии с заданным макетом.

В унифицированной системе пользовательского доступа к ХДФУ ССО должна быть обеспечена возможность представления результирующей таблицы данных запроса или интерактивного отчета в виде:

·  графиков и диаграмм;

·  аналитических группировок данных по произвольным интервалам значений показателя;

·  визуализации значений статистических показателей посредством цветовой схемы.

Должно быть разработано программное обеспечение, реализующее экспорт данных ХДФУ (заданный перечень показателей и их разрезность) в формате MS Excel. Для кода показателя и кода признака элемента (кода справочника) используются значения в соответствии с Реестром показателей официальной статистики, в качестве источника информации для которого в Росстате принят Каталог Статистических Показателей (КСП) Росстата.

Унифицированная система пользовательского доступа к информационным статистическим ресурсам ХДРУ ССО (Региональный уровень) должна:

·  функционировать аналогично системе федерального уровня;

·  удовлетворять функциональным требованиям системы пользовательского доступа к ХДФУ ССО (Федеральный уровень).

Унифицированная система пользовательского доступа к операционным базам (ОБ) ССО должна предоставлять пользователю Web-интерфейс доступа к регламентным таблицам работ Годового производственного плана работ Росстата из каталога ОБ ССО.

Web-интерфейс доступа к регламентным таблицам должен:

·  предоставлять возможность выбора регламентных таблиц из каталога ОБ ССО;

·  предоставлять возможность задания параметров, предусмотренных при проектировании таблицы, для формирования регламентных таблиц;

·  получать регламентные таблицы по заданным параметрам.

При реализации системы пользовательского доступа к ОБ ССО должны быть максимально использованы существующие программные компоненты. Модуль формирования регламентных таблиц ОБ ССО, реализованный программным обеспечением УИС СТАТЭК должен быть доработан для взаимодействия с Web-интерфейсом:

·  должна быть реализована возможность запуска модуля в фоновом режиме на сервере;

·  должна быть реализована передача модулю формирования регламентных таблиц УИС СТАТЭК информации, определенной в Web-интерфейсе системы.

·  должна быть реализована передача сформированной регламентной таблицы в Web-интерфейс системы.

·  должны быть учтены особенности многопользовательского режима функционирования для указанного модуля УИС СТАТЭК.

Программные средства формирования целевых фрагментов хранилища с возможностью мониторинга перечня фрагментов и состояния их актуализации путем модернизации действующего механизма формирования витрин ХДФУ должны:

·  формировать целевые фрагменты хранилища данных на основе ХДФУ;

·  позволять добавлять, удалять, изменять целевой назначение информации;

·  формировать набор показателей для заданного целевого фрагмента информации;

·  формировать фильтры по справочникам для заданного целевого назначения информации;

·  формировать целевые фрагменты ХД по выбранному набору показателей с использованием заданного набора фильтров;

·  формировать пакеты обновлений данных для заданного целевого назначения;

·  предоставлять протокол формирования целевых фрагментов ХД и пактов изменений данных;

·  просматривать протокол формирования целевых фрагментов ХД и пакетов изменений данных для выбранного целевого назначения.

Должна быть реализована единая система пользовательского доступа к информационным ресурсам, формируемым в системе обработки данных по ценам и финансам, для обеспечения доступа к БД ТОГС и БД ГМЦ. Данная система должна быть реализована применительно к задачам статистики цен и финансов с возможностью применения и адаптации для использования в других областях статистики. Система, реализованная в рамках пилотной задачи, должна обладать следующими возможностями:

·  предоставлять возможность обращаться к ОБ ССО, размещенным в пилотном ТОГС и ГМЦ Росстата;

·  предоставлять возможность обращаться ко всем разделам ХДФУ, размещенным на ГМЦ Росстата;

·  предоставлять возможность обращаться ко всем разделам ХДРУ, размещенным в пилотном ТОГС;

·  для каждой ОБ ССО (для пилотного ТОГС) предоставлять возможность доступа к регламентным таблицам по технологии, реализуемой по требованиям пункта 6.1.7.-6.1.9.;

·  для каждого ХДРУ (для пилотного ТОГС) и для ХДФУ предоставлять возможность формирования интегрированного интерактивного отчета по показателям из разных разделов хранилища;

В рамках данной работы требуется организовать интранет доступ к реализуемым системам, размещенным в пилотном ТОГС и ГМЦ Росстата.

В качестве пилотной задачи также должен быть создан целевой фрагмент хранилища данных для доступа к информации БД «Сельское хозяйство» и к нему организован доступ с использованием унифицированной системы пользовательского доступа.

2.1.3.2. Требования к разработке программного обеспечения формирования публикационных таблиц для размещения на Интернет-портале Росстата, на Интернет-сайтах ТОГС и статистических сборников.

Автоматизация формирования таблиц статистического сборника должна проводиться на основе формирования целевого фрагмента хранилища данных, набора интерактивных отчетов и регламентных таблиц.

В рамках данной работы должен быть сформирован целевой фрагмент ХДФУ по ценам и финансам и осуществлена настройка унифицированной системы пользовательского доступа на работу с данным целевым фрагментом и необходимыми ОБ ССО по ценам и финансам.

Подготовка публикационных таблиц пилотного сборника для статистики цен и финансов должна осуществляться посредством настроенной унифицированной системы пользовательского доступа.

Должна быть осуществлена выгрузка данных интерактивных отчетов и регламентных таблиц в MS Excel.

2.1.3.3. Требования к разработке/модификации программного обеспечения, реализующего загрузку ХДРУ/ХДФУ из информационных ресурсов Росстата

Средства автоматического контроля данных при загрузке информации в хранилище данных из операционных баз ССО должны обеспечивать автоматическое формирование:

·  протоколов расхождения содержимого справочников ОБ ССО и справочников НСИ КСП;

·  протоколов несоответствия содержимого справочников НСИ ХД и НСИ КСП;

·  протоколов расхождения структуры показателя в ХД и в КСП;

·  протоколов о наличии/отсутствии сходимости по каждому разрезу с уровня субъектов Российской Федерации на уровень Российской Федерации;

·  протоколов контроля данных, загружаемых в ХД, по алгоритмам, приведенным в экономических описаниях статистических работ (состав и содержание алгоритмов контроля могут быть предоставлены для ознакомления в электронном виде, общий перечень алгоритмов содержит порядка 10 000 позиций).

Система администрирования хранилища Росстата (ХДРУ/ХДФУ) должна быть доработана для поддержки целостности данных и диагностики состояния информационных фондов.

2.1.3.4. Требования к работам по переводу в ЕССО работ Годового производственного плана Росстата

Перевод работ должен включать реализацию электронного сбора данных, обработки данных в среде ССО на базе УИС «СТАТЭК» версии 2.6.2006. и размещение первичных и агрегированных данных в хранилищах данных регионального и федерального уровней в соответствии с экономическими описаниями.

В соответствии с требованиями экономического описания программно-технологические средства регионального уровня должны обеспечить электронную обработку данных, включая следующие этапы:

·  формирование нормативно-справочной информации на основе ЭО;

·  ввод информации по форме, поступающей от объектов наблюдения на бумажном носителе;

·  ввод информации по форме, поступающей от объектов наблюдения в ЭВФ;

·  контроль статистических данных в соответствии с алгоритмами ЭО;

·  проведение необходимых корректировок информационного массива по результатам арифметико-логического контроля;

·  формирование данных для таблиц согласно алгоритмам ЭО;

·  формирование таблиц в соответствии с макетами и алгоритмами ЭО;

·  выгрузка отчетных данных в обменный файл для последующей передачи на федеральный уровень;

·  выгрузка в Хранилище данных регионального уровня.

В соответствии с требованиями экономического описания программно-технологические средства федерального уровня должны обеспечить электронную обработку данных, включая следующие этапы:

·  формирование нормативно-справочной информации на основе ЭО;

·  ввод информации поступающей от ТОГС;

·  контроль статистических данных в соответствии с ЭО;

·  проведение необходимых корректировок регионального информационного массива по результатам арифметико-логического контроля;

·  формирование данных для таблиц согласно алгоритмам ЭО;

·  формирование таблиц в соответствии с макетами и алгоритмами ЭО;

·  выгрузка в Хранилище данных федерального уровня.

В процессе перевода работ в среду ЕССО должен быть обеспечен переход на передачу данных в формате СДСФ.

2.1.3.5. Требования к загрузке ХДФУ из информационных ресурсов Росстата

В ХДФУ должны быть загружены все значения показателей с соответствующими разрезами и динамикой согласно утвержденному перечню. Загрузка ХДФУ осуществляется из информационных ресурсов Росстата (более 30).

В целях обеспечения возможности визуального контроля данных, загруженных в хранилище, необходимо создать интерактивные отчеты по каждому показателю с соответствующей разрезностью и динамикой.

Интерактивные отчеты требуется подготавливать с использованием унифицированной системы пользовательского доступа. В интерактивном отчете для каждого показателя должно быть настроено представление информации с возможностью фильтрации значений критериев отбора и настройки макета выходной таблицы.

При создании интерактивных отчетов необходимо реализовать:

·  тематический рубрикатор показателей ИВС Росстата;

·  тематический рубрикатор интерактивных отчетов.

При создании интерактивных отчетов необходимо реализовать тематический рубрикатор интерактивных отчетов для передачи в ЕМИСС.

2.1.3.6. Требования по проведению обучения сотрудников Росстата работе с унифицированной системой пользовательского доступа к информационным статистическим ресурсам ССО и созданию интерактивных отчетов

Должны быть обучены не менее 60 специалистов центрального аппарата Росстата. В территориальные органы статистики должны быть направлены мультимедийные средства для самостоятельного обучения сотрудников ТОГС функционированию системы.

2.1.3.7. Требования к программному и аппаратному обеспечению

Реализуемые процессы и компоненты в рамках развития технологии и средств формирования информационных ресурсов ИВС Росстата должны строиться с использованием общих технологических подходов и решений, согласованных с проектно-технологическими и программными средствами ИВС Росстата.

Программные средства должны функционировать в среде информационно-вычислительной системы Росстата с использованием существующего оборудования и программных средств ИВС.

Все реализуемые технологические компоненты должны реализовывать непосредственное взаимодействие с информационными ресурсами ХДФУ, ХДРУ и ОБ ССО без какого-либо преобразования данных или использования буферов обмена данными, а также не требовать специальной настройки на изменение структур данных или метаинформации.

2.2. Разработка программного обеспечения и создание баз данных для итоговых показателей системы национальных счетов

2.2.1. Общие сведения

Национальные счета, отражающие все фазы экономического процесса (производство, образование доходов и распределение доходов, потребление и накопление, операции с финансовыми инструментами и т. д.), дают обобщенное представление о функционировании экономики в определенный период. Основой для построения национальных счетов России является методология, принятая в качестве международного стандарта ООН, МВФ, Всемирным банком, ОЭСР и Евростатом. Формирование показателей СНС осуществляется Управлением национальных счетов ЦА Росстата на основе обработки данных, получаемых органами государственной статистики от предприятий, организаций, населения в результате статистического наблюдения, информации министерств и ведомств РФ (Федерального казначейства, Банка России, Федеральной таможенной службы и др.).

Массив информации для расчета национальных счетов, подлежащий анализу, проверке, взаимной увязке и корректировке, исчисляется миллионами показателей. В настоящее время специалисты Росстата для выполнения расчетов используют стандартные средства электронных таблиц Microsoft Excel, которые не предусматривают необходимых процедур для обработки и анализа массивов информации таких объемов. Используемое программное обеспечение не удовлетворяет потребностям пользователей по следующим причинам:

·  Стандартные средства Excel не предусматривают необходимых процедур обработки больших массивов информации и корректного управления одновременной работой нескольких пользователей.

·  При существующем подходе пользователи тратят более половины рабочего времени на манипулирование данными (копирование, размещение в нужных ячейках таблиц Excel и т. п.), а не на их анализ, что отрицательно влияет на сроки и качество расчетов.

·  Процесс тиражирования изменений ссылок и формул расчетной модели для каждого региона является одной из наиболее часто встречающихся и трудоемких операций для специалистов Управления национальных счетов.

·  Консолидация, проверка и группировка файлов предварительных региональных расчетов из 82 ТОГС является рутинной операцией, которая должна быть автоматизирована.

·  Отсутствуют механизмы автоматизированной проверки на федеральном уровне полноты и логической корректности заполнения региональных таблиц и возможность обратной связи с ТОГС для устранения найденных ошибок.

·  Корректировки региональных данных являются неотъемлемой частью технологического процесса расчета и анализа ВРП на федеральном уровне, пересчёт всех взаимосвязанных таблиц расчетной модели после внесения корректировок занимает продолжительное время.

·  Отсутствует единый информационный фонд региональных и федеральных оценок показателей региональных счетов разных лет, необходимый как источник доступной аналитической информации по показателям ВРП.

·  Отсутствует возможность контролировать процесс внесения экономистами корректировок в расчетные формулы и получаемые показатели, что затрудняет поиск ошибок и анализ производимых изменений и, в частности, разнонаправленных корректировок.

·  Отсутствует механизм ведения единой структурированной метаинформации, в том числе истории изменений расчетной методологии в разные периоды.

·  Отсутствует аналитический инструмент для анализа промежуточных и результирующих данных, а также сопоставления результатов ВВП и ВРП.

·  Отсутствует инструмент автоматизированной подготовки аналитических справок и публикаций по показателям СНС.

Отсутствие единого информационного ресурса по показателям региональных счетов и соответствующих средств контроля внесения корректировок пользователями разного уровня (специалистов ЦА и ТОГС) приводят к расхождениям в информации по одним и тем же показателям, используемой на региональном и федеральном уровнях.

В 2005 – 2008 гг. Росстатом были предприняты первые шаги по созданию программных средств для автоматизации отдельных работ, входящих в технологический процесс разработки национальных счетов на федеральном и региональном уровнях, в частности:

·  В рамках работ по РСГС-1 и реализации ФЦП «Развитие государственной статистики России» была создана Двухуровневая интегрированная система подготовки данных для формирования показателей национальных счетов (ДИС ПДНС), формирующая согласованный информационный ресурс для некоторых исходных данных, используемых в расчетах СНС. ДИС ПДНС также позволяет проводить расчет показателей счета производства и отдельных промежуточных показателей для расчета элементов образования доходов для предприятий сектора нефинансовых корпораций на региональном и на федеральном уровнях. В настоящее время планируется создание программного комплекса гармонизации данных по производству, труду и капиталу (ПК ГД-ПТК), который является следующим после ДИС ПДНС методологическим и технологическим шагом для создания единой гармонизированной информации для формирования показателей национальных счетов.

·  Интегрированная информационная система (ИИС) «Национальные счета» (I и II очереди), которая позволила систематизировать годовые и квартальные показатели счетов производства и образования доходов за гг. по всем оценкам (версиям расчетов), видам экономической деятельности и институциональным секторам для всех составляющих показателей счетов производства и образования доходов. В составе ИИС была создана система загрузки отдельных составляющих показателей счетов производства и образования доходов из таблиц Excel в базу данных. На этих данных производятся расчеты контрольных, итоговых и аналитических показателей, а результаты представляются экономисту в удобном для аналитической работы виде - многомерного представления данных (технология OLAP-кубов). Технология OLAP-кубов предоставляет возможность самостоятельно (без привлечения программистов) формировать выходные таблицы с требуемым уровнем детализации данных.

Разработанные программные комплексы работают на платформе Windows, используют в качестве СУБД Microsoft SQL Server (c использованием Microsoft Analysis Services).

В связи с началом процедур по подготовке вступления РФ в ОЭСР задача создания в Росстате единого информационного ресурса с аналитическими функциями по всем показателям Системы национальных счетов (включая региональные) приобрела особую актуальность, поскольку у России появились обязательства по обеспечению представления определенного набора макроэкономических данных, методологически сопоставимых с данными стран-членов ОЭСР. В 2008 году для определения степени соответствия статистических данных требованиям ОЭСР Росстат начал заполнять вопросники этой организации. Помимо этого Росстат заполняет вопросники по национальным счетам ООН и МВФ. Все вопросники ориентированы на получение подробной информации. Поиск данных в накопленных Excel-файлах и заполнение вопросников экономистами вручную является крайне трудоемкой работой.

В рамках проекта РСГС-2 создается проект «Разработка программного обеспечения и создание баз данных для итоговых показателей системы национальных счетов» В рамках этого проекта разрабатывается программное обеспечение и базы данных с целью создания единого информационного ресурса, содержащего полную согласованную информацию по всем показателям СНС (включая региональные), разрабатываемым Росстатом в разрезе институциональных секторов, отраслей, типов цен и версий расчетов и предоставляющее экономистам возможности интерактивной аналитической работы с показателями национальных счетов, проведения сопоставлений и взаимной увязки показателей, проведение ряда расчетов и построения динамических рядов, подготовки публикаций, заполнения международных вопросников. Одновременно разработывается новое программное обеспечение, обеспечивающее автоматизацию наиболее трудоемких этапов технологического процесса расчета региональных счетов и ВРП, в частности, решающее задачи обобщения, анализа и доработки оценок ВРП ТОГС на федеральном уровне, их сопоставления и согласования с данными по ВВП, а также формирующее единую версию достоверных данных по ВРП для работы пользователей регионального и федерального уровней.

2.2.2. Цели и задачи выполнения работ по проекту

Целями проекта являются:

·  Повышение эффективности, качества, прозрачности и оперативности процессов формирования и распространения итоговых показателей СНС благодаря унификации методов и средств обработки, анализа и хранения информации СНС на основе единых системных и технологических решений.

·  Сокращение сроков предоставления информации СНС по запросам федеральных и региональных органов государственной власти и управления, повышение качества подготавливаемых аналитических отчетов и своевременное выполнение международных обязательств в части предоставления информации по показателям СНС благодаря снижению трудоемкости операций по подготовке регламентированных отчетов и обеспечения возможности формирования нерегламентированных отчетов в различных аналитических разрезах, использующих произвольные комбинации данных СНС.

·  Повышение качества и сокращение сроков формирования итоговых показателей региональных счетов благодаря автоматизации трудоемких рутинных операций технологического процесса и повышение управляемости процесса консолидации, анализа и корректировки информации предварительных расчетов ВРП на федеральном уровне.

·  Обеспечение преемственности при включении в процесс формирования и распространения показателей СНС начинающих специалистов Росстата за счет создания репозитория метаинформации по методологическим и технологическим аспектам расчетов показателей СНС.

В соответствии с вышеуказанными целями выполнение проекта включает решение следующих задач:

1. Создание в ЕССО и внедрение баз данных итоговых показателей национальных счетов для федерального и регионального уровней (блок СНС-БП):

·  обеспечивающих хранение всех оценок (версий расчетов) показателей счетов СНС федерального и регионального уровней (с 2003 года - по показателям СНС федерального уровня и с 2004 года - по показателям регионального уровня);

·  обеспечивающих регламентированный доступ к данным на основе ролевой модели пользователей, участвующих в процессе формирования, анализа и распространения федеральных и региональных данных СНС;

·  являющихся репозиторием метаинформации по показателям СНС, методикам их расчета, анализа и взаимной увязки.

2. Создание и внедрение программного обеспечения загрузки и ведения в ЕССО баз данных итоговых показателей национальных счетов (блок СНС-ЗВ):

·  реализующего функции загрузки данных в СНС-БП из внешних источников и арифметико-логического контроля загружаемых показателей;

·  реализующего функции расчета производных и аналитических показателей на основе имеющихся данных, а также формирование динамических рядов годовых и квартальных оценок показателей федерального и регионального уровней в текущих и сопоставимых ценах;

·  реализующего административные функции управления данными и метаданными, контроля за наполнением СНС-БП и работой пользователей.

3. Создание и внедрение программного обеспечения публикации и распространения СНС в ЕССО, в т. ч. для подготовки публикаций в сборниках и заполнения вопросников международных организаций (блок СНС-СВ - «сборники и вопросники»), обеспечивающего как автоматическое формирование преднастроенных (регламентных) отчетов на данных СНС-БП, так и динамическое формирование запросов к данным.

4. Создание и внедрение программного обеспечения консолидации предварительных региональных расчетов ВРП и поддержки расчетов ВРП на федеральном уровне (блок ВРП-Ф), предназначенного для обобщения, контроля и анализа рабочих таблиц с предварительной оценкой ВРП, формируемых ТОГС, расчета на их основе оценок ВРП в Управлении национальных счетов ЦА Росстата, увязки показателей счетов производства и образования доходов.

Рисунок. 1. Схема взаимодействия ПО и БД федерального и регионального уровней

Создаваемое ПО и БД должны расширять и быть тесно интегрированными с текущим функционалом ЕССО, исключая дублирование для тех случаев, где оно не оправдано для решения прикладных задач СНС. Обязательна интеграция модуля СНС-БД и хранилищ ЕССО на уровне данных (выгрузки, загрузки и ведения данных).

В ходе создания ПО и БД для всех блоков должна быть обеспечена простота и удобство проведения перенастроек (без привлечения ресурсов разработчика системы), связанных с изменением вариативных элементов системы (справочников, классификаторов, настраиваемых параметров алгоритмов и пр.), незатрагивающих изменение методологии.

По результатам проекта должны быть созданы интегрированные базы данных федерального и регионального уровней, содержащие в оперативном доступе данные по показателям 7 счетов СНС федерального уровня и по отдельным показателям счетов регионального уровня.

2.2.3. Перечень основных автоматизируемых деловых функций

Создаваемое программное обеспечение и базы данных должны автоматизировать следующие основные деловые функции:

·  создание и ведение федеральных и региональных баз показателей СНС, хранящих все версии расчетов показателей счетов СНС федерального и регионального уровней, во всех типах цен и прочих разрезах, предусмотренных методикой расчета счетов СНС, включая отдельные составляющие этих показателей, производные и итоговые показатели, структурные и динамические индексы и т. п.;

·  осуществление процедур контроля, согласования и взаимной увязки показателей СНС, в том числе в динамике, структуре представления, между федеральным и региональным уровнями и т. п.;

·  проведение расчетов ВРП на федеральном уровне, уточнение и корректировка ранее рассчитанных показателей региональных счетов, расчет динамических рядов показателей СНС регионального уровня;

·  расчет динамических рядов годовых и квартальных оценок показателей СНС федерального уровня;

·  аналитическая разработка системы счетов, увязка показателей счетов в динамике, по структуре и т. п, в том числе посредством вычисления и анализа индикаторов динамики, структурных изменений и прочих аналитических коэффициентов;

·  подготовка Интегрированной таблицы счетов;

·  подготовка регламентных публикаций по национальным счетам, заполнение вопросников ОЭСР, ООН, МВФ и др., оперативное формирование аналитических справок с табличной и графо-аналитической информацией на основе нерегламентных запросов, формирование выгрузок данных установленного формата для распространения информации по счетам СНС.

2.2.4. Требования к структуре и функциям программного обеспечения

Функции, реализуемые программным обеспечением

Создаваемое в рамках проекта программное обеспечение должно реализовывать следующую функциональность:

В части блока баз данных итоговых показателей национальных счетов (СНС-БП):

·  хранение данных и метаданных показателей национальных счетов в реляционной структуре;

·  поддержка низкоуровневой блочной выгрузки, загрузки и репликации данных, в том числе пакетной репликации;

·  обеспечение регламентированного низкоуровневого доступа к данным с использованием языка SQL на основе ролевой модели пользователей.

В части блока загрузки и ведения баз (СНС-ЗВ):

·  загрузка данных, оценок (версий расчетов) отдельных составляющих квартальных и годовых показателей СНС во всех разрабатываемых разрезах (по хозяйственным и/или чистым отраслям, по институциональным секторам, классификации индивидуального потребления по целям, классификации функций органов государственного управления и т. д. – в зависимости от рассматриваемого счета СНС), из таблиц-источников формата MS Excel в СНС-БП;

·  загрузка рабочих таблиц с расчетами ВРП, полученных из ТОГС в формате Excel;

·  арифметико-логический контроль загружаемых показателей;

·  расчет агрегированных, производных, аналитических и итоговых показателей на основе загружаемых данных, расчет временных рядов, верификация результатов расчетов;

·  ведение метаданных по всем показателям СНС-БП, правилам контроля и взаимной увязки, расчетным алгоритмам;

·  контроль наполнения базы и работы пользователей.

В части блока подготовки публикаций и распространения данных СНС (СНС-СВ):

·  формирование (заполнение) преднастроенных (регламентных) таблиц СНС и вопросников ОЭСР, МВФ в электронном виде с возможностью выгрузки в MS Excel;

·  настройка перечня регламентных таблиц (добавление, удаление, переименование), изменение разрезности представления данных и формата выдачи результатов.