Пособие предназначеное для специалистов системы Росстата, занимающихся внедрением и эксплуатацией информационных технологий сбора, обработки, хранения и распространения статистической информации (стр. 3 )

·  формирование нерегламентных запросов к любым показателям СНС, хранимым в СНС-БП с возможностью настройки формата выдачи результата запроса.

·  формирование пакетных выгрузок данных для смежных систем в установленном формате (выгрузка показателей СНС в ЦБСД и т. п.).

В части блока консолидации предварительных региональных расчетов ВРП и поддержки расчетов ВРП на федеральном уровне (ВРП-Ф):

·  автоматизация подготовки xls-макетов расчета ВРП для ТОГС с возможностью распространения исправлений в формулах таблиц для всех регионов;

·  консолидация заполненных xls-макетов ТОГС с функциями форматного и арифметико-логического контроля и агрегации, загрузка данных предварительных расчетов ТОГС в СНС-БП;

·  поддержка управляемого внесения корректировок специалистами ТОГС и ЦА и обеспечение единой версии данных для регионального и федерального уровня.

Все вышеперечисленные алгоритмы расчетов показателей, правила контролей и гармонизации, форматы протоколов и таблиц должны быть уточнены на основе анализа экономических описаний и интервью экспертов при разработке проектных решений (технического проекта).

Функционально-технологическая структура программного обеспечения

Программный комплекс должен состоять из следующих функциональных компонентов:

·  БД и ПО регионального уровня, функционирующие в каждом ТОГС и включающие ограниченную функциональность блоков СНС-БП, СНС-ЗВ, СНС-СВ, ВРП-Ф;

·  БД и ПО федерального уровня, функционирующие в ГМЦ и ЦА Росстата и включающие полную функциональность блоков СНС-БП, СНС-ЗВ, СНС-СВ, ВРП-Ф.

Программное обеспечение регионального и федерального уровней должно включать следующие структурно-функциональные блоки:

·  базы данных (реляционные и OLAP), обеспечивающие хранение основной информации, метаинформации и служебной информации для всех выше перечисленных блоков;

·  программные модули, обеспечивающие загрузку данных в БД и проведение расчетов;

·  пользовательские интерфейсы, предназначенные для обеспечения удобной и эффективной работы пользователей ПО в соответствии с решаемыми ими задачами в рамках выше перечисленных блоков.

Информационное обеспечение

В состав информационного обеспечения должны входить:

1. Исходные данные для загрузки в СНС-БП:

·  квартальные и годовые оценки показателей счетов СНС федерального уровня, начиная с 2003 года для разрабатываемых разрезов;

·  квартальные и годовые оценки показателей счетов СНС регионального уровня, начиная с 2004 года по 82 ТОГС;

·  годовые предварительные расчеты ВРП, поступившие от 82 ТОГС.

Все исходные данные предоставляются в виде многостраничных электронных таблиц формата Microsoft Excel.

Примерный порядок накопленных файлов с данными по итоговым показателям СНС, подлежащих загрузке в СНС-БД, составляет 50 тысяч файлов. Общее количество записей в составе файлов, загружаемых по счету производства, составляет порядка 400 тысяч, а по всем разрабатываемым счетам СНС примерно 3,5 миллиона.

Данные с годовой оценкой ВРП, поступающие от каждого ТОГС для загрузки в базу данных федерального уровня, содержат около 30 таблиц формата Microsoft Excel. Каждая таблица включает от 3 до 13 листов с показателями, корректировками, комментариями и формулами.

Количество загружаемых файлов с данными для расчета ВРП за отчетный период, охватывающий 2-х летний цикл, составляет более 2 200 файлов, а общее количество загружаемых записей порядка 1,5 миллионов.

2. Производная информация (полученная в ходе выполнения технологических операций) в соответствии с методологическими требованиями СНС и задачами, решаемыми блоками ПО.

3. Метаинформация (справочник понятийного аппарата), содержащая

·  экономические описания показателей;

·  правила контроля и гармонизации показателей;

·  расчетные формулы и алгоритмы;

·  настроечные параметры расчетов и анализа и т. д.

Первоначальное формирование метаданных должно быть осуществлено на этапе загрузки файлов формата Microsoft Excel с данными итоговых показателей счетов СНС и предварительных оценок ВРП с использованием режима полуавтоматического переноса и транслирования формул и комментариев, имеющихся в этих файлах.

4. Общероссийские классификаторы и локальные справочники, классификаторы и системы кодирования (в соответствии с экономическими описаниями и разрезностью показателей СНС, используемых и формируемых создаваемым ПО);

5. Служебная информация, содержащая параметры настройки, протоколы выполнения операций, шаблоны регламентных таблиц и прочие служебные данные, обеспечивающие корректное функционирование всех подсистем.

Требования к функциональной производительности ПО и БД СНС

Объемы хранимых данных

Программный комплекс должен обеспечивать хранение всей исходной и производной (полученной в ходе выполнения технологических операций) информации, а также метаинформации.

Должно быть обеспечено хранение в оперативном доступе всей информации, начиная с 2003 года и далее с учетом загрузки и формирования новой информации не менее чем до 2013 года.

Должна быть предусмотрена возможность полного либо частичного переноса устаревающей (с точки зрения пользователей) информации на архивное хранение с целью сохранения производительности системы, с возможностью при необходимости подключения архивной информации по запросу пользователей.

Объем и темп прироста хранимых данных может быть оценен исходя из методологических материалов по разработке СНС в Росстате на федеральном и региональном уровнях, публикуемых показателях и сборниках по национальным счетам, доступным на официальном сайте Росстата (www. *****), а также в официальных статистических изданиях, публикуемых Росстатом.

Интенсивность информационных потоков

Интенсивность информационных потоков на федеральном уровне варьируется в зависимости от количества специалистов, участвующих в технологическом процессе, а также в зависимости от периодов проведения работ, связанных с использованием этого ПО, предусмотренных годовым производственным планом Росстата, но не превышает в пике 50 одновременно работающих пользователей.

ПО должно предусматривать возможность масштабирования в случае увеличения количества одновременно работающих пользователей. ПО должно обеспечивать комфортное время реакции на запросы пользователей системы, принятое в современных информационных интерактивных системах, в зависимости от выполняемой пользователем задачи. В случае длительных процессов обработки данных система должна предупреждать пользователя о длительности выполнения запроса и отображать на экране ход процесса.

Требования к обеспечению настраиваемости ПО

В создаваемом ПО должна быть обеспечена простота и удобство проведения перенастроек (без привлечения ресурсов разработчика системы), связанных с изменением вариативных элементов системы (справочников, классификаторов, настраиваемых параметров алгоритмов и пр.), не затрагивающих изменение методологии.

Порядок выполнения работ

С целью обеспечения успешного внедрения ПО с учетом значительного объема решаемых им задач, производственной необходимости предварительной апробации проектных решений, а также в связи с необходимостью проведения ряда организационно-методологических мероприятий на уровне ТОГС, ГМЦ и ЦА Росстата для эффективной работы с создаваемым ПО, работы по данному проекту должны выполняться поэтапно в гг.:

1.  Разработка технического проекта ПО и БД СНС;

2.  Разработка пилотного программного обеспечения всех блоков ПО и БД (СНС-БП, СНС-ЗВ, СНС-СВ, ВРП-Ф) для экспериментальной апробации основных методологических и технологических подходов, разработка комплекта сопроводительной документации для пилотного ПО.

3.  Экспериментальная апробация пилотного программного обеспечения.

4.  Разработка полнофункциональной версии программного обеспечения с учетом результатов экспериментальной апробации, разработка комплекта сопроводительной документации для полнофункционального ПО.

5.  Опытная эксплуатация полнофункционального программного обеспечения регионального и федерального уровней.

6.  Внедрение ПО в полном объеме на федеральном и региональном уровне.

В результате внедрения должна быть создана база данных, содержащая в оперативном доступе данные, обеспечивающие:

1.  при внедрении блока СНС-СВ:

·  построение динамических рядов годовых и квартальных оценок показателей СНС федерального уровня;

·  подготовку регламентных таблиц для публикаций по данным, соответствующим моменту внедрения;

·  получение графо-аналитических представлений (графики, диаграммы, карты) для иллюстрации публикаций и аналитических записок;

·  заполнение вопросников ОЭСР, МВФ.

Состав вопросников, заполняемых на этапе внедрения, должен быть определен Росстатом.

2.  при внедрении блока ВРП-Ф:

·  обобщение, арифметико-логический контроль, согласование и корректировку предварительных оценок ВРП, поступающих от ТОГС;

·  увязку показателей по структуре.

2.3. Разработка аппаратно-программных средств, обеспечивающих создание гармонизированных данных по производству, труду и капиталу на микро – и макро уровнях

2.3.1. Общие положения

В настоящее время в условиях подготовки к вступлению России в состав международных организаций все большее значение придается завершению внедрения Системы национальных счетов (СНС) в российскую статистическую практику, разработке полного набора основных счетов и таблиц, предусмотренных международными стандартами, обеспечению методологического соответствия показателей требованиям международных стандартов. Совершенствование методологии и технологии формирования показателей СНС невозможно без качественно нового подхода к формированию и гармонизации информационного базиса для построения показателей национальных счетов.

В условиях колоссального объема исходной статистической информации (миллионы показателей), отсутствия согласованной системы исходной информации, получаемой из разных информационных фондов и регионов, крайне сжатых сроков разработки итоговых показателей, необходимости получения итоговых данных, согласованных по видам экономической деятельности, по институциональным секторам, по взаимосвязям ресурсов и использования, доходов и расходов возникает необходимость в создании программного комплекса, позволяющего на основе использования статистических, математических и аналитических методов построить единый гармонизированный информационный ресурс по показателям производства, труда и капитала, при этом осуществлять контроль полноты и качества представленной исходной информации, авторедактирование исходных данных, поиск допущенных ошибок, расчет и анализ производных показателей и индикаторов, составление аналитических таблиц.

В рамках работ по РСГС-1 была создана Двухуровневая интегрированная система подготовки данных для формирования показателей национальных счетов (ДИС ПДНС), формирующая согласованный информационный ресурс на основе данных статистики предприятий (годового структурного обследования крупных и средних предприятий, выборочного обследования малых предприятий и отдельных показателей оперативной статистики) и бухгалтерских балансов организаций. На базе сформированного согласованного ресурса ДИС ПДНС позволяет проводить расчет показателей счета производства для предприятий сектора нефинансовых корпораций. В рамках реализации ФЦП «Развитие государственной статистики России» в 2007г. была произведена адаптация ДИС ПДНС для работы на региональном уровне и апробация адаптированной системы в пилотных ТОГС, а в 2008г. проведено внедрение ДИС ПДНС во всех ТОГС и на федеральном уровне в ГМЦ и ЦА Росстата.

С учетом объемов выделенных средств и методологической новизны разработка ДИС ПДНС носила пилотный (пробный) характер. Подготовка согласованного массива данных для задач СНС в ДИС ПДНС охватывала лишь небольшую часть информации из статистических фондов Росстата, используемой при расчетах ВРП, ВВП и других показателей СНС. Внедрение ДИС ПДНС на региональном и федеральном уровнях показало правильность используемых в системе методологических и технологических подходов согласования и анализа данных и безусловную полезность системы для качественного улучшения согласованности исходной информационной базы, используемой для расчетов ВРП и ВВП. Программный комплекс, обеспечивающий создание гармонизированных данных по производству, труду и капиталу на микро - и макро уровне (ПК ГД-ПТК), является развитием ДИС ПДНС и качественно новым методологическим и технологическим шагом для создания единой гармонизированной информации для формирования показателей национальных счетов.

Для внедрения ДИС ПДНС на региональном и федеральном уровне производилась комплексная поставка технических средств и системного (лицензионного) программного обеспечения во все ТОГС, ГМЦ и ЦА Росстата, в связи с этим для функционирования ПК ГД-ПТК в гг. планируется использовать оборудование и системное (лицензионное) программное обеспечение, имеющееся в настоящее время в распоряжении ТОГС, ГМЦ и ЦА Росстата для работы с ДИС ПДНС.

Несмотря на то, что макроэкономические показатели, как правило, не могут быть получены простым агрегированием микроданных, с аналитической точки зрения необходимо иметь возможность проследить взаимосвязь микроданных и макроэкономических показателей и индикаторов, особенно при обнаружении экономически необъяснимых отклонений последних по структуре и динамике. При этом практически невозможно и нецелесообразно откорректировать все без исключения индивидуальные данные по сотням тысяч предприятий. Ключевую роль в обеспечении согласованности и повышении качества данных с использованием ДИС ПДНС сыграла технология анализа отклонений макропоказателей с поэтапной детализацией данных до микроуровня, основанная на использовании OLAP-платформы Microsoft Analysis Services. Поставляемое ПО АРМ аналитика является ключевым тиражируемым компонентом ПК ГД-ПТК: оно должно поддерживать работу с ранее созданными хранилищами ДИС ПДНС в соответствии с вышеописанной технологией, а также реализовывать требования пользователей-экономистов к средствам интерактивного итерационного анализа согласованности данных и моделирования корректировок данных, сформировавшиеся в ходе внедрения ДИС ПДНС.

2.3.2. Цели и задачи выполнения работ по проекту

Основная цель данного проекта – совершенствование технологии расчета СНС и других макроэкономических показателей органами государственной статистики РФ посредством внедрения современных информационных технологий для совершенствования информационной базы, основанной на статистике производства, труда и капитала и используемой для расчета показателей национальных (в т. ч. региональных) счетов, а также других макроэкономических показателей, требующих согласованности факторов производства, затрат труда и капитала.

Основной задачей является внедрение программного комплекса, который позволит специалистам Росстата регионального и федерального уровня по завершении проекта осуществить переход на новую методологию и технологию гармонизации статистической информации по производству, труду и капиталу, обеспечивающую комплексный подход к решению проблемы согласованности этих данных как на миро-, так и на макро уровне.

Проектом предусматривается:

1. Разработка программного комплекса, обеспечивающего формирование гармонизированных данных по производству, труду и капиталу на региональном и федеральном уровне путем консолидации и гармонизации исходных микроданных из информационных фондов Росстата по соответствующим формам статистического наблюдения во взаимодействии со Статистическим регистром, а также обеспечивающий проведение макроэкономических расчетов и формирование показателей отдельных счетов СНС с возможностью их последующего анализа как на макро -, так и на микроуровне, в том числе:

·  должно быть поставлено программное обеспечение АРМ аналитика, позволяющее проводить интерактивный итерационный направленный анализ данных от макро - к микроуровню и моделирование корректировок данных;

·  должны быть разработаны правила и алгоритмы гармонизации данных и анализа согласованности исходных и расчетных показателей, на основе которых должно быть разработано специализированное программное обеспечение ПК;

2. Разработка технологии контролируемой актуализации региональных и федеральных сегментов единого гармонизированного информационного ресурса, обеспечивающая целостное и непротиворечивое состояние данных регионального и федерального уровней ПК ГД-ПТК.

3. Внедрение разработанного программного комплекса на региональном уровне в ТОГС и на федеральном уровне в ГМЦ и ЦА Росстата.

Результатом внедрения программного комплекса ГД-ПТК должен стать сформированный согласованный информационный ресурс по показателям производства, труда и капитала, использующий единый круг единиц наблюдения и НСИ и обеспечивающий единую версию достоверных данных для пользователей регионального и федерального уровней как основу для расчетов показателей региональных счетов, показателей счетов СНС в целом по РФ, а также для расчетов совокупных затрат труда с целью исчисления производительности труда, показателей фондоотдачи, фондовооруженности, ввода в действие основных фондов на 1 рубль капитальных вложений и прочих показателей и т. п.

В части развития функций ДИС ПДНС в ПК ГД-ПТК:

·  должен быть значительно расширен состав объектов наблюдения: должны отдельно рассматриваться крупные предприятия и средние предприятия, помимо круга юридических лиц должен быть также согласован круг их территориально-обособленных подразделений, наряду с малыми должна быть включена информация по микро-предприятиям, при этом должны быть учтены изменения в типизации предприятий вследствие изменений законодательства РФ;

·  должен быть значительно расширен состав информационных фондов Росстата - источников исходных данных и состав выбираемых из них показателей, подлежащих сопоставлению и согласованию в части показателей статистики предприятий, бухгалтерских балансов, статистики труда, статистики основных фондов и инвестиций в основной капитал - в ПК ГД-ПТК планируется увеличение состава показателей в 2-2,5 раза по сравнению с ДИС ПДНС, с соответствующим ростом сложности алгоритмов сопоставления данных;

·  должен быть расширен состав формируемых и анализируемых производных показателей, предназначенных для расчета других (ранее не охваченных ДИС ПДНС) счетов СНС;

·  в связи с переходом с 2009 г. на новый Общероссийский классификатор продукции по видам экономической деятельности (ОКПД) должна быть актуализирована номенклатура чистых и хозяйственных отраслей и при этом должна быть обеспечена возможность анализа изменения динамики показателей;

·  должны быть разработаны технологии и регламенты взаимодействия регионального и федерального уровня в части обеспечения целостности и непротиворечивости гармонизированного информационного ресурса федерального уровня и его региональных сегментов,

·  должна быть расширена функциональность программных средств интерактивного анализа и корректировки данных,

·  должно быть обеспечено формирование массивов гармонизированных данных в электронном виде в согласованных форматах для дальнейшего использования в целях актуализации и повышения полноты и качества информации в Генеральной совокупности и других исходных информационных ресурсах (комплексах обработки данных) по производству, труду и капиталу,

·  должна быть обеспечена простота и удобство проведения перенастроек (без привлечения ресурсов разработчика системы), связанных с изменением вариативных элементов системы (справочников, классификаторов, настраиваемых параметров алгоритмов и пр.), не затрагивающих изменение методологии.

2.3.3. Автоматизация основных деловых функций

Программный комплекс ГД-ПТК является комплексной системой, построенной на основе ПО АРМ аналитика и включающей также специальное программное обеспечение для реализации методологии и технологии согласования данных, расчетных алгоритмов, контролирующих и обеспечивающих функций и т. п.

Программные комплекс ГД-ПТК должен автоматизировать следующие основные деловые функции:

·  подготовка исходной статистической базы для построения ключевых показателей национальных счетов (в т. ч. региональных) по сектору нефинансовых корпораций, а также других комплексных макроэкономических показателей на основе объединения статистических данных по производству, труду и капиталу, полученных в ходе различных статистических работ;

·  обеспечение сопоставимого круга наблюдаемых субъектов по каталогам информационных фондов, сформированных в ходе выполнения работ по статистике производства, труда и капитала;

·  осуществление процедуры согласования показателей статистики производства, труда и капитала, полученных в ходе выполнения разных статистических работ, но совместно используемых для формирования показателей национальных счетов, а также других комплексных макроэкономических показателей;

·  создание и ведение базы данных согласованных показателей по единому кругу объектов наблюдения статистики предприятий, труда и капитала (на микроуровне);

·  анализ пообъектных показателей с целью обеспечение качества микроданных;

·  проведение расчета отдельных макроэкономических показателей регионального и федерального уровней;

·  проведение анализа сформированных макроэкономических показателей, в том числе посредством вычисления и анализа индикаторов динамики, структурных изменений и прочих аналитических коэффициентов;

·  поиск и устранение причин появления алогичных значений макроэкономических показателей и индикаторов, в том числе, сложившихся за счет ошибок и пропусков на уровне исходных микроданных;

·  подготовка регламентных таблиц;

·  оперативное формирование таблиц на основе нерегламентных запросов по рассматриваемому кругу показателей и индикаторов;

·  интеграция, актуализация и корректировка данных ТОГС на федеральном уровне (в ГМЦ и ЦА);

·  корректировка данных в информационных ресурсах Росстата, сформированных в ходе выполнения различных статистических работ, в процессе использования этих данных для формирования и анализа обобщающих показателей СНС (в части статистики производства, труда и капитала, а также поддержания актуального состояния ГС);

·  предоставление информации для анализа экономических процессов, происходящих в секторе нефинансовых корпораций.

2.3.4. Требования к структуре и функциям программного комплекса

Программный комплекс должен реализовывать следующую функциональность:

1. Формирование консолидированного информационного ресурса индивидуальных показателей предприятий на основе исходных данных, полученных из информационных фондов, содержащих данные отдельных форм статистического наблюдения статистики предприятий, труда, основных фондов и инвестиций в основной капитал, в т. ч.:

·  загрузка исходных данных из информационных фондов форм статистического наблюдения;

·  приведение загружаемых данных к одной единице наблюдения;

·  форматно-логический контроль загружаемых исходных данных из информационных фондов – источников (в т. ч., на соответствие единой НСИ, используемой в ПК ГД-ПТК).

2.  Формирование единого круга единиц наблюдения (каталога предприятий) на основе каталогов предприятий из информационных фондов-источников в сопоставлении с Генеральной совокупностью объектов наблюдения.

Должны быть учтены структурные изменения в части территориально обособленных подразделений предприятий, происшедшие за отчетный период.

Ранжирование предприятий по категориям «флагманы», «средние» и «аутсайдеры» по ключевым показателям производства, труда и фондов, а также по совокупности этих показателей.

3. Гармонизация микроданных, включая:

·  Контроль полноты предоставления информации единицами наблюдения по различным формам статистической отчетности и бухгалтерским балансам, формирование перечней предприятий, не представившихся показатели по каким-либо формам.

·  Арифметический, логический и динамический контроль показателей в рамках каждой формы отчетности, включая контроли на основе расчета производных показателей. В том числе, должен быть реализован пообъектный контроль наличия рассчитанного выпуска товаров и услуг по чистому виду деятельности при условии наличия оборота по данному чистому виду деятельности, а в протоколе контроля должна фиксироваться причина отсутствия выпуска (например, отрицательное расчетное значение выпуска и т. п.).

·  Гармонизация по каждой единице наблюдения методологически сопоставимых показателей, полученных из разных форм отчетности: показателей ф.1-предприятие, бухгалтерских балансов; средней численности работников и фонда начисленной заработной платы, данных форм оперативной отчетности, показателей основных фондов, объема производства и численности работающих, показателей по вводу в действие основных фондов и инвестициям в основной капитал.

·  Поиск, отбор, просмотр и редактирование микроданных экономистом, в т. ч. на основании обработки протоколов расхождений, сформированных в процессе гармонизации микроданных, включая частичное авторедактирование микроданных.

4. Формирование по результатам проведения гармонизации данных соответствующие протоколы расхождений и предоставить экономистам удобные средства работы с протоколами, включая:

·  средства фильтрации и сортировки,

·  расширения протоколов дополнительных признаками предприятий, облегчающих процесс анализа расхождений,

·  возможность полной или настраиваемой частичной выгрузки протоколов в файлы формата Microsoft Excel, в том числе, с учетом деления по субъектам РФ

·  возможность проставления статуса обработки записей в протоколах, включая внесение комментариев к записям в протоколах.

5.  Расчет и анализ производных показателей и идентификационных признаков предприятий.

6.  Формирование и гармонизация макроэкономических показателей регионального и федерального уровня по предприятиям нефинансового сектора в текущих ценах, включая показатели системы национальных счетов и сводные данные по труду и основным фондам.

7.  Проведение направленного анализа отклонений макропоказателей с поэтапной детализацией данных до микроуровня, с учетом ранее произведенного ранжирования предприятий и с возможностью выделения индивидуальных данных именно тех предприятий, которые в наибольшей степени влияют на производство в рамках той или иной отрасли или региона, или РФ в целом.

8.  Моделирование влияния корректировок обнаруженных ошибочных или отсутствующих значений показателей на микроуровне на итоговые макроэкономические показатели и аналитические коэффициенты.

9.  Ведение справочника понятийного аппарата, включающего описание метаданных по следующим блокам:

·  по используемым и формируемым в системе показателям;

·  по правилам контроля и гармонизации показателей;

·  по номенклатуре чистых и хозяйственных отраслей;

·  по расчетным формулам и алгоритмам;

·  по настроечным параметрам расчетов и анализа.

10.  Реализация интеграции данных регионального и федерального уровня.

Подсистема интеграции данных регионального и федерального уровней должна предоставлять:

·  функции первичной интеграции согласованных региональных ресурсов, включая контроль качества и непротиворечивости данных, поступающих от разных ТОГС;

·  инструменты разрешения конфликтов по кругу объектов наблюдения и по данным разных ТОГС;

·  средства последующей инкрементной актуализации и корректировки данных пользователями ТОГС и федерального уровня.

Подсистема интеграции должна протоколировать операции и снабжать пользователей информацией, отражающей результаты интеграции (время работы, количество обработанных записей, в том числе, с ошибками, и т. п.).

Подсистема интеграции должна выдавать экономисту справку о состоянии интегрированного информационного ресурса с указанием перечня ТОГС, представивших данных, и количества предприятий по каждой территории и по РФ в целом.

11.  Управление последовательностью выполнения технологических операций и контроль действий пользователей:

·  Реализация поэтапного контролируемого прохождения технологического процесса загрузки, гармонизации, расчетов и анализа данных;

·  Количественный и качественный мониторинг состояния прохождения этапов технологического процесса.

·  Определение степени готовности микроданных для проведения макроэкономических расчетов.

·  Фиксация в системе результатов работы экономистов с протоколами расхождений, полученными в процессе гармонизации данных (в том числе, внесения исправлений в данные, пояснений к записи в протоколе и т. п.).

·  Фиксация и контроль корректировок микроданных, производимых экономистами.

Программное обеспечение регионального и федерального уровней должно включать следующие структурно-функциональные блоки:

·  АРМ аналитика – инструментальное средство для выполнения основных деловых функций экономиста-аналитика по гармонизации и анализу данных на макро- и микроуровне;

·  базы данных, содержащие информацию, поступающую из внешних фондов, используемую и формируемую в ПК, как для выполнения технологического процесса гармонизации данных, так и для аналитических задач;

·  пользовательские интерфейсы, предназначенные для обеспечения удобной и эффективной работы пользователей ПК в соответствии с выполняемыми ими деловыми функциями: консолидации микроданных из внешних фондов, формирования протоколов расхождений, контроля выполнения этапов технологического процесса, контроля межуровневой интеграции и т. п.

Техническое обеспечение ПК ГД-ПТК

Программный комплекс состоит из 2 узлов федерального уровня (ЦА и ГМЦ) и 82 (по количеству ТОГС) узлов регионального уровня.

Узел федерального уровня включает в себя сервер хранилища данных и рабочие станции пользователей федерального уровня, объединенные в локальную сеть в составе федерального сегмента ИВС Росстата.

Узел регионального уровня включает в себя сервер хранилища данных и рабочие станции пользователей регионального уровня, объединенные в локальную сеть в составе регионального сегмента ИВС Росстата в рамках отдельного ТОГС.

Программное обеспечение ПК ГД-ПТК

Программное обеспечение комплекса включает:

1) Системное (лицензионное) программное обеспечение, в т. ч.:

·  операционную систему сервера хранилища данных;

·  систему управления базами данных;

·  серверное программное обеспечение, обеспечивающее аналитическую обработку в реальном времени (OLAP);

·  операционную систему рабочих станций пользователей;

·  пакет офисных приложений для рабочих станций.

Для ПК должно использоваться существующее системное (лицензионное) программное обеспечение.

2) Программное обеспечение АРМ аналитика.

3) Специальное программное обеспечение.

Информационное обеспечение ПК ГД-ПТК

В состав информационного обеспечения ПК ГД-ПТК должны входить:

1. Исходная информация для ПК ГД-ПТК:

·  по формам 1-предприятие, П-1, П-2, П-4, П-5(м), ПМ, ф. № 11 и др. ;

·  показатели бухгалтерских балансов всех организаций нефинансового сектора, не перешедших на упрощенное налогообложение;

·  сведения из Генеральной совокупности объектов наблюдения (регионального уровня) по всем предприятиям сектора нефинансовых корпораций;

·  пообъектные и сводные данные по крупным, средним и малым предприятиям, полученные в результате проведения согласования информационных фондов в ДИС ПДНС в 2008 г.

По исходным показателям месячных и квартальных форм федерального статистического наблюдения используется накопительный годовой итог.

Исходная статистическая информация хранится в электронном виде в региональных и федеральных информационных фондах Росстата. На этапе технического проектирования разрабатывается технология консолидации исходной информации из указанных фондов.

2. Производная (полученная в ходе выполнения технологических операций) информация микро - и макроуровня в соответствии с методологическими требованиями СНС, статистики труда и капитала, а также этапами технологического процесса и алгоритмами.

3.  Справочник понятийного аппарата, содержащий описания показателей, правила контроля и гармонизации показателей, расчетные формулы и алгоритмы, настроечные параметры расчетов и анализа;

4.  Общероссийские классификаторы и локальные справочники, классификаторы и системы кодирования (в соответствии с экономическими описаниями и разрезностью показателей, используемых и формируемых в ПК);

5.  Служебная информация, содержащая параметры настройки ПК, протоколы выполнения операций, шаблоны регламентных таблиц и прочие служебные данные, обеспечивающие корректное функционирование системы.

6.   

Информационный обмен со смежными системами Росстата

Должны быть обеспечены механизмы взаимодействия ПК ГД ПТК:

·  с программными комплексами – источниками исходной информации (в т. ч. с ДИС ПДНС) в части формата экспортируемых из них данных;

·  с программными комплексами и системами Росстата, обеспечивающими ведение справочников, классификаторов и каталога показателей.

Должно быть обеспечено формирование следующих массивов гармонизированных данных в электронном виде в согласованных форматах для дальнейшего использования в целях актуализации и повышения качества данных в исходных информационных ресурсах:

·  согласованный каталог предприятий с идентификационными признаками и количественными характеристиками, который предназначен для актуализации территориальных разделов БД ГС;

·  гармонизированные данные по основным фондам и инвестициям в основной капитал, которые в дальнейшем могут использоваться для актуализации данных базах данных форм № 11, 11(краткая), приложения к форме № П-2;

·  согласованные сводные данные о средней численности работников предприятий и отработанном времени для последующего использования в программном комплексе «Баланс затрат труда в среднем за год».

С учетом того, что одновременно с разработкой и внедрением ПК ГД-ПТК планируется модернизация и разработка программных средств и технологий расчета ВРП и ВВП, а также создание хранилища итоговых показателей СНС с аналитическими функциями, в ходе внедрения ПК ГД-ПТК должны быть обеспечены:

·  интеграция ПК ГД-ПТК с существующими и модернизируемыми программными средствами расчета ВРП и ВВП в части использования согласованных данных ПК ГД-ПТК в расчетах ВРП и ВВП по сектору нефинансовых корпораций;

·  интеграция с создаваемым хранилищем итоговых показателей СНС с аналитическим функциями.

Требования к функциональной производительности ПК ГД-ПТК

Объемы хранимых данных

Программный комплекс должен обеспечивать хранение всей исходной и производной (полученной в ходе выполнения технологических операций) информации микро - и макроуровня. С целью обеспечения возможности анализа в динамике институциональных изменений и состава выпускаемой предприятиями продукции необходимо хранить в оперативном доступе данные за 5 лет.

Интенсивность информационных потоков

Интенсивность информационных потоков внутри региональных узлов варьируется в зависимости от количества специалистов ТОГС, участвующих в технологическом процессе, а также в зависимости от периодов проведения работ, связанных с использованием этого ПК, в предусмотренных годовым производственным планом, но не превышает в пике 20 одновременных пользователей в одном региональном узле. Интенсивность информационных потоков на федеральном уровне не превышает в пике 50 одновременных пользователей федерального уровня.

ПК должен предусматривать возможность масштабирования в случае увеличения количества одновременных пользователей.

ПК должен обеспечивать комфортное время реакции на запросы пользователей системы, принятое в современных информационных интерактивных системах, в зависимости от выполняемой пользователем задачи. В случае длительных процессов обработки данных система должна предупреждать пользователя о длительности выполнения запроса и отображать на экране ход процесса.

Требования к обеспечению настраиваемости ПК ГД-ПТК

В создаваемом программном комплексе должна быть обеспечена простота и удобство проведения перенастроек (без привлечения ресурсов разработчика системы), связанных с изменением вариативных элементов системы (справочников, классификаторов, настраиваемых параметров алгоритмов и пр.), не затрагивающих изменение методологии.

Спецификации программного обеспечения

Состав и характеристики имеющегося системного (лицензионного) программного обеспечения

ПК ГД-ПТК должен функционировать с использованием следующего системного (лицензионного) программного обеспечения, установленного в настоящее время в распоряжении ТОГС, ГМЦ и ЦА Росстата для работы с ДИС ПДНС:

Серверное системное программное обеспечение:

Операционная система: Microsoft Windows Server 2003 (Service Pack 1);

СУБД: Microsoft SQL Server 2005 Standard Edition или Enterprise Edition (Service Pack 3) с установленной компонентой Microsoft Analysis Services.

Системное программное обеспечение на рабочих местах:

Операционная система: Microsoft Windows 2000 (Service Pack 3), Microsoft Windows XP (Service Pack 2), или Windows Vista;

Microsoft Office 2003 или  Microsoft Office 2007

Программное обеспечение АРМ аналитика

Общая характеристика поставляемого ПО АРМ Аналитика

АРМ аналитика должно являться клиентским приложением, предназначенным для интерактивного итерационного направленного анализа гармонизируемых микро - и макроданных в табличной и графической форме, для формирования регламентных таблиц и конструирования произвольных таблиц на основе данных аналитического хранилища ПК ГД-ПКТ, а также для моделирования влияния корректировок микроданных на макропоказатели и контролируемого внесения корректировок.

АРМ аналитика должен предоставлять совокупность согласованных и взаимоувязанных технологий, инструментов, средств и сервисов для решения следующих задач пользователя:

·  Формирование таблиц в интерактивном режиме.

·  Проведение многомерного анализа данных.

·  Формирование регламентных таблиц по параметризованным запросам.

·  Формирование аналитических показателей и коэффициентов на основе многомерных данных.

·  Моделирование внесения корректировок значений показателей.

·  Формирование графических представлений данных (диаграмм).

·  Экспорт таблиц во внешние файлы.

·  Вывод таблиц на печать.

Пользователем ПО АРМ аналитика будет экономист-аналитик, имеющий хорошие навыки работы с электронными таблицами Microsoft Excel (или табличным процессором с аналогичным интерфейсом), получивший общие представление о многомерной организации данных и возможностях OLAP-технологий, но не владеющий языками программирования или написания запросов к данным в терминах средств управления базами данных.

До момента готовности специализированного ПО ГД-ПТК поставляемое ПО АРМ аналитика будет использоваться специалистами Росстата для аналитической работы с многомерным (OLAP) хранилищем данных, накопленных в ходе выполнения работ в ДИС ПДНС.

Требования к поставляемому ПО АРМ Аналитика

Поставляемое Исполнителем ПО АРМ Аналитика должно удовлетворять следующим требованиям:

Требования к режимам работы с программным обеспечением

ПО должно предоставлять возможность работать с таблицами в двух режимах:

·  в режиме просмотра ранее сформированных таблиц с возможностью изменения параметров фильтрации данных и экспорта таблицы;

·  в режиме редактирования, позволяющем проводить все операции (с учетом модели разграничения доступа к данным).

Требования к формированию таблиц в интерактивном режиме

АРМ аналитика должно иметь графический интерфейс пользователя для конструирования таблиц на основе данных и метаданных (НСИ) аналитического хранилища, построенного на OLAP-платформе Microsoft SQL Server 2005 Analysis Services.

Таблица может содержать одну или несколько областей данных, привязанных к соответствующим перечням наименований строк и столбцов, ячейки с данными, выбранными напрямую из хранилища без привязки к перечням строк и столбцов, а также дополнительные области, не связанные с данными или НСИ хранилища и предназначенные для оформления таблицы («шапки»), вставки расчетных выражений или размещения комментариев пользователей.

Пользователь должен иметь возможность самостоятельно конструировать таблицы:

·  выбирать показатели для отображения в области данных;

·  выбирать справочники и элементы справочников для строк и столбцов таблицы (с поддержкой иерархических справочников, возможности выбора элементов из разных уровней иерархии, быстрого поиска элемента справочников по части его наименования), в том числе для конструирования многоуровневой вложенности строк и/или столбцов таблицы;

·  выбирать дополнительные признаки элементов справочников (помимо названия), которые должны отображаться в строках и/или столбцах, настраивать правила сортировки или последовательность отображения выбранных элементов справочника;

·  выбирать дополнительные доступные характеристики показателя в качестве фильтров, используемых при анализе данных, в т. ч. устанавливать для этих фильтров значения по умолчанию;

·  сохранять результат конструирования для дальнейшего использования в качестве макета таблицы, автоматически заполняемого данными из хранилища при открытии в режиме просмотра или редактирования, без необходимости повторного конструирования;

·  изменять ранее выбранные параметры на любом этапе формирования таблицы, а также в ранее сформированных таблицах;

·  использовать при формировании одной таблицы показатели из разных многомерных представлений данных (OLAP-кубов);

·  выбирать один элемент данных из хранилища для вставки в конкретную ячейку ранее сформированной таблицы;

·  транспонировать сформированную таблицу (менять местами строки и столбцы);

·  управлять последовательностью сортировки данных в сформированных таблицах.

Пользователь должен иметь возможность оформлять сконструированную таблицу с использованием средств форматирования, применяемых в офисных приложениях (шрифтов, цветового оформления, заливок, границ, формата ячеек и т. п.).

Пользователь должен иметь возможность сдвигать ранее сформированные области таблицы для вставки в освободившееся пространство заголовков и комментариев, вычислимых выражений или элементов данных из хранилища.

Пользователь должен иметь возможность добавлять в ячейки сконструированной таблицы вычислимые выражения, построенные с использованием данных из других ячеек таблиц, в том числе, полученных из хранилища.

Требования к многомерному анализу данных

В ПО АРМ Аналитика пользователь должен иметь возможность проводить многомерный анализ данных в сформированных им таблицах:

·  Начиная работать с агрегированными данными, постепенно переходить от высших ступеней консолидации к низшим (drilling down) и, обратно, переходить от нижнего уровня (например, микроданных) к более высоким уровням агрегации (drilling up). Переход на более низкие уровни иерархии в справочниках должен быть реализован, по крайней мере, двумя способами: одновременной детализацией по всем элементам выбранного уровня справочника или детализацией по конкретному выбранному элементу.

·  Последовательно углублять анализ элементов таблицы данных путем фиксации срезов и перехода к другим аналитическим разрезам показателей (drilling through).

·  Управлять фильтрацией данных по измерениям, не зафиксированным в качестве строк и столбцов таблицы, в том числе, управлять одновременной фильтрацией данных из нескольких OLAP-кубов, представленных в одной таблице, в случае использования ими одних и тех же измерений.

·  Быстро обнаруживать отклонения аналитических индикаторов в соответствии с заданной бизнес-логикой (с помощью средств визуальной индикации).

Требования к регламентным таблицам

ПО должно позволять вести каталог регламентных таблиц (т. е. таблиц, сформированных в соответствии с экономическими описаниями решаемых задач). Регламентные таблицы в штатном режиме функционирования системы должны формироваться, сохраняться, изменяться и рубрицироваться в каталоге выделенными представителями Росстата.

Формирование и редактирование регламентных таблиц должно производиться аналогично общим требованиям к формированию таблиц.

Обычные пользователи должны иметь возможность работать с регламентными таблицами в режиме просмотра или сохранять их (как макеты для формирования таблиц) в свой личный каталог таблиц для дальнейшей работы в режиме редактирования, при этом в случае никакие изменения пользователем полученной таблицы в личном каталоге не должны приводить к изменениям исходной регламентной таблицы, и она должна оставаться доступной другим пользователям.

Требования к формированию аналитических показателей и коэффициентов на основе многомерных данных.

Пользователь должен иметь возможность формировать новые расчетные формулы на основе существующих многомерных данных с использованием арифметических операций как дополнительные (расчетные) элементы справочников для строк и/или граф таблиц, элементы фильтров и результирующих данных, именовать их и использовать при формировании и редактировании таблиц.

Пользователь должен иметь возможность редактировать и удалять ранее сформированные расчетные формулы без нарушения общей функциональности таблиц, в которых они использовались (пользователю должно быть выдано предупреждение об исчезновении удаляемого элемента из таблиц в случае его удаления).

Требования к моделированию и внесение корректировок значений показателей.

Пользователь должен иметь возможность при обнаружении некорректного или отсутствующего значения показателя локально (т. е. без отображения в общем массиве данных, доступном другим пользователям) внести корректировку, указать причину корректировки в виде текстового сообщения, проследить влияние корректировки на результирующие агрегаты и аналитические коэффициенты, в расчете которых используется корректируемое значение, и, в случае принятия корректировки, сделать доступным скорректированное значение остальным пользователям. Принятие корректировок должно производиться как по одной, так и групповой операцией Пользователь должен иметь возможность получить информацию обо всех произведенных им корректировках (какой показатель корректировался, для какого объекта, когда, по какой причине, на какую величину).

Требования к формированию графических представлений данных (диаграмм).

Должно поддерживаться создание графических представлений сформированной таблицы, при этом все графические представления должны синхронно изменяться с изменением настроек фильтрации и порядка данных в исходной таблице, а также при транспонировании таблицы.

Требования к экспорту таблиц

ПО должно позволять экспортировать сформированные таблицы (регламентные и нерегламентные) в формат Microsoft Excel, при этом должно сохраняться оформление таблицы, данные должны экспортироваться с учетом установленной фильтрации и уровней иерархии справочников на момент экспорта, а значения фильтров на момент экспорта должны отображаться в заголовке результирующей таблицы.

2.4. Разработка и внедрение современной системы сбора и обработки данных демографической статистики

В Концепции демографической политики Российской Федерации на период до 2025 года, утвержденной Указом Президента Российской Федерации 9 октября 2007 года, говорится, что информационное обеспечение реализации ее положений предполагает использование данных государственной статистики и для получения достоверных сведений о состоянии населения Российской Федерации необходимо создание системы государственного статистического наблюдения, соответствующего современным информационным потребностям и международным рекомендациям в области демографического развития.

В 2008 г. утвержден перечень мероприятий Правительства Российской Федерации, направленных на развитие государственной статистики в демографической сфере на годы. Одним из основных пунктов указанного перечня является создание на основе современных технологий и программных средств соответствующей системы сбора и обработки демографических данных, отвечающей международным стандартам.

Используемые в настоящее время Росстатом комплексы ЭОД по естественному движению и миграции населения эксплуатируются с 1988 г. На персональные ЭВМ комплексы были переведены в 1997 году и за прошедшие годы устарели как с точки зрения программного обеспечения, так и методологических решений. Они приспособлены только для ручного ввода административных данных, в них не учтены последние изменения в нормативной правовой базе сбора и обработки статистических данных. Кроме того, действующие комплексы предусматривают разработку первичных данных и формирование выходных таблиц по каждому городскому населенному пункту и суммарно по сельским населенным пунктам административного района, что не позволяет получать информацию по муниципальным образованиям всех уровней.

Система сбора и обработки данных демографической статистики должна включать 2 системы:

·  Систему сбора, обработки и предоставления данных по естественному движению населению (ЕДН);

·  Систему сбора, обработки и предоставления данных по миграции населения (МН).

Система сбора и обработки данных демографической статистики будет строиться с использованием общих технологических подходов и решений, согласованных с проектно-технологическими и программными средствами информационно-вычислительной системы (ИВС) Росстата.