Алгоритм извлечения открытых данных (стр. 4 )

6.5.2.1  Парсинг данных в формате RDFa

Ссылка на страницу версии набора открытых данных извлекается из свойства dc:hasPart перечня версии набора открытых данных. Данная страница парсится с помощью парсера RDFa. Если парсер RDFa закончил работу с ошибкой, то считается, что формат RDFa не обнаружен и парсинг данных в формате RDFa завершается с ошибкой «формат RDFa не обнаружен». Иначе, парсер возвращает структурированный массив данных со всеми содержащимися объектами RDFa на странице и их свойствами, с которыми и происходит дальнейшая работа.

Далее проверяется наличие свойств dc:source, dc:format, dc:created, dc:provenance, dc:conformsTo у объекта версии набора открытых данныхhttp:///opendata/1234567890-identifer. Если эти свойства не обнаружены, то считается, что формат RDFa не обнаружен и парсинг данных в формате RDFa завершается с ошибкой «формат RDFa не обнаружен».

6.5.2.2  Парсинг данных в формате CSV

Файла версии набора открытых данных в формате CSV не существует, все свойства версии в формате CSV представлены в CSV файле набора открытых данных. Поэтому для получения объекта версии используется результат парсера CSV для набора открытых данных в виде двумерного массива.

Далее анализируются данные массива. Первая строка массива определяется как строка с заголовками. Остальные строки определяются как свойства версии набора открытых данных. Девятая строка определяется как ссылка на файл версии набора, десятая строка определяется как формат версии набора, тринадцатая строка определяется как дата создания версии набора, четырнадцатая строка определяется как содержание последних изменений версии набора, одиннадцатая строка определяется как структура версии набора. В связи с неопределенностью в методических рекомендациях следующие свойства: формат версии набора, дата создания версии набора, содержание последних изменений версии набора, в формате CSV определены только для последней версии набора. Для остальных версий значения этих свойств не определены. Третья колонка определяется как колонка содержащая значения свойств перечня версий набора открытых данных.

Далее по очереди перебираются все свойства, которые определены выше. Если эти свойства не обнаружены, то считается, что формат CSV не обнаружен и парсинг данных в формате CSV завершается с ошибкой «формат CSV не обнаружен».

6.5.3  Результат

Результатом проверки версии набора открытых данных является структурированный массив содержащий следующие данные: ссылка на файл, формат, дата создания, содержание последних изменений, структура. Исключение для предыдущих версий набора в формате CSV состоит в том, что для них не определены следующие поля: формат, дата создания, содержание последних изменений.

Если результат, ни в формате RDFa, ни в формате CSV не получен, то проверка версии набора открытых данных завершается с ошибкой «машиночитаемый формат версии набора открытых данных не обнаружен».

6.6  Структура версии набора открытых данных

6.6.1  Проверка аргумента

Структура версии набора открытых данных всегда проверяется в контексте версии набора открытых данных. Аргументом для проверки структуры ответственного лица набора открытых данных является слово structure.

6.6.1.1  Проверка наличия набора в реестре

Вся проверка аргумента сводится к тому, чтобы проверить равен ли аргумент значению structure.

6.6.2  Парсинг данных

В текущей версии библиотеки поддерживаются следующие форматы: CSV и RDFa.

Формат проверки структуры версии набора открытых данных зависит от формата набора открытых данных. Если результат набора открытых данных был получен из формата RDFa, то структура версии набора открытых данных получается при помощи парсера RDFa. Если же результат набора открытых данных был получен из формата CSV, то данные версии набора открытых данных получаются из результата проверки набора открытых данных.

6.6.2.1  Парсинг данных в формате RDFa

Ссылка на страницу версии набора открытых данных извлекается из свойства dc:conformsTo версии набора открытых данных. Данная страница парсится с помощью парсера RDFa. Если парсер RDFa закончил работу с ошибкой, то считается, что формат RDFa не обнаружен и парсинг данных в формате RDFa завершается с ошибкой «формат RDFa не обнаружен». Иначе, парсер возвращает структурированный массив данных со всеми содержащимися объектами RDFa на странице и их свойствами, с которыми и происходит дальнейшая работа.

Далее проверяется наличие свойств dc:source, dc:format, dc:created у объекта структуры версии набора открытых данныхhttp:///opendata/1234567890-identifer. Если эти свойства не обнаружены, то считается, что формат RDFa не обнаружен и парсинг данных в формате RDFa завершается с ошибкой «формат RDFa не обнаружен».

6.6.2.2  Парсинг данных в формате CSV

Файла структуры версии набора открытых данных в формате CSV не существует, все свойства версии в формате CSV представлены в CSV файле набора открытых данных. Поэтому для получения объекта структуры версии используется результат парсера CSV для набора открытых данных в виде двумерного массива.

Далее анализируются данные массива. Первая строка массива определяется как строка с заголовками. Остальные строки определяются как свойства структуры версии набора открытых данных. Одиннадцатая строка определяется как ссылка на файл структуры версии набора. В связи с неопределенностью в методических рекомендациях следующие свойства: формат структуры версии набора, дата создания структуры версии набора для формата CSV не определены. Третья колонка определяется как колонка содержащая значения свойств перечня версий набора открытых данных.

Далее по очереди перебираются все свойства, которые определены выше. Если эти свойства не обнаружены, то считается, что формат CSV не обнаружен и парсинг данных в формате CSV завершается с ошибкой «формат CSV не обнаружен».

6.6.3  Результат

Результатом проверки версии набора открытых данных является структурированный массив содержащий следующие данные: ссылка на файл, формат, дата создания. Исключение для структуры версии набора в формате CSV состоит в том, что для них не определены следующие поля: формат, дата создания.

Если результат, ни в формате RDFa, ни в формате CSV не получен, то проверка структуры версии набора открытых данных завершается с ошибкой «машиночитаемый формат структуры версии набора открытых данных не обнаружен».

7  Алгоритм парсеров

В версии 2.3 существует два парсера, RDFa и CSV.

Для работы парсера необходим URL проверяемого файла или страницы, это может быть ссылка на CSV файл или ссылка на страницу с RDFa разметкой.

Важно понимать, что данный парсер предназначен только для парсинга реестра открытых данных и паспорта набора открытых данных и не может быть использован для парсинга других файлов и страниц. И поэтому присутствующие допущения, которые могут показаться недопустимыми для других файлов и страниц в данном случае имеют место быть.

Ниже представлены алгоритмы всех парсеров в библиотеке.

7.1  Парсер RDFa

7.1.1  Получение содержимого страницы

7.1.1.1  Существующая проблема

На указанной странице сайта RDFa присутствует не всегда.

7.1.1.2  Предлагаемое решение

Проверять существование страниц и RDFa на них по адресам указанным в МР 2.3.

7.1.1.3  Реализованный алгоритм

Получаем все объекты и их свойства с указанной страницы сайта с помощью библиотеки EasyRdf (http://www. easyrdf. org/). Если библиотека EasyRdf дала ошибку или вернула пустой результат, то парсер RDFa формата заканчивает работу с ошибкой «RDFa не обнаружен».

7.1.2  Редактирование результата

7.1.2.1  Существующая проблема

Объекты RDFa с закрывающим слешем и без него, это разные объекты. Например, объект http:///opendata и http:///opendata/

7.1.2.2  Предлагаемое решение

Проверять существование страниц и RDFa на них по адресам указанным в МР 2.3.

7.1.2.3  Реализованный алгоритм

Получаем все объекты и их свойства с указанной страницы сайта с помощью библиотеки EasyRdf (http://www. easyrdf. org/). Если библиотека EasyRdf дала ошибку или вернула пустой результат, то парсер RDFa формата заканчивает работу с ошибкой «RDFa не обнаружен».

7.1.3  Возвращение полученных данных

Если ошибок в работе парсера не обнаружено, то полученные данные в виде списка объектов RDFa и их свойств возвращаются в алгоритм вызвавший этот парсер.

7.2  Парсер CSV

7.2.1  Получение содержимого файла

7.2.1.1  Существующая проблема

На указанной странице сайта файл присутствует не всегда.

7.2.1.2  Предлагаемое решение

Проверять существование файлов по адресам указанным в МР 2.3.

7.2.1.3  Реализованный алгоритм

Получаем содержимое по указанному URL. Если будет возвращена ошибка 404 или содержимое отсутствует, то парсер CSV формата заканчивает работу с ошибкой «файл не найден».

7.2.2  Проверка кодировки

7.2.2.1  Существующая проблема

Невозможно точно определить кодировку публикуемых CSV файлов. Данный вопрос не определен МР 2.3, и поэтому CSV файлы встречаются в самых различных кодировках.

7.2.2.2  Предлагаемое решение

Публиковать CSV файлы в кодировке «UTF-8».

7.2.2.3  Реализованный алгоритм

Проверяем содержимое на кодировку «UTF-8». Если определено, что кодировка не «UTF-8, то перекодируем содержимое из «Windows-1251» в «UTF-8», при этом исходная кодировка может быть и не «Windows-1251», тогда полученные данные будут в «кракозябрах». Данный алгоритм реализован на том основании, что проверить кодировку можно только на соответствие «UTF-8», на соответствие другим кодировкам такую проверку простыми средствами произвести нельзя. И при этом данное допущение покрывает подавляющее большинство случаев для того, чтобы допускать это.

7.2.3  Определение экранирующего символа

7.2.3.1  Существующая проблема

Невозможно точно определить экранирующий символ CSV файла. Данный вопрос не определен МР 2.3, и поэтому CSV файлы потенциально могут встречаются с различными экранирующими символами. Но на текущий момент таких проблем не замечено и все CSV используют единый экранирующий символ.