Алгоритм извлечения открытых данных (стр. 3 )

Далее по очереди перебираются все свойства, которые определены выше. Если эти свойства не обнаружены, то считается, что формат CSV не обнаружен и парсинг данных в формате CSV завершается с ошибкой «формат CSV не обнаружен».

6.2.4  Результат

Результатом проверки набора открытых данных является структурированный массив содержащий следующие данные: идентификационный номер, заголовок, описание, владелец, дата создания, дата актуальности, ключевые слова.

Если результат, ни в формате RDFa, ни в формате CSV не получен, то проверка набора открытых данных завершается с ошибкой «машиночитаемый формат набора открытых данных не обнаружен».

6.3  Ответственное лицо набора открытых данных

6.3.1  Проверка аргумента

Ответственное лицо набор открытых данных всегда проверяется в контексте набора открытых данных. Аргументом для проверки ответственного лица набора открытых данных является слово publisher.

6.3.1.1  Проверка корректности аргумента

Вся проверка аргумента сводится к тому, чтобы проверить равен ли аргумент значению publisher. Данная проверка необходима, потому что в контексте набора открытых данных также производится проверка других объектов.

6.3.2  Парсинг данных

В текущей версии библиотеки поддерживаются следующие форматы: CSV и RDFa.

Проверка формата ответственного лица набора открытых данных зависит от формата набора открытых данных. Если результат набора открытых данных был получен из формата RDFa, то ответственное лицо набора открытых данных получается при помощи парсера RDFa. Если же результат набора открытых данных был получен из формата CSV, то данные ответственного лица набора открытых данных получаются из результата проверки набора открытых данных.

6.3.2.1  Парсинг данных в формате RDFa

Ссылка на страницу ответственного лица набора открытых данных извлекается из свойства dc:publisher набора открытых данных. Данная страница парсится с помощью парсера RDFa. Если парсер RDFa закончил работу с ошибкой, то считается, что формат RDFa не обнаружен и парсинг данных в формате RDFa завершается с ошибкой «формат RDFa не обнаружен». Иначе, парсер возвращает структурированный массив данных со всеми содержащимися объектами RDFa на странице и их свойствами, с которыми и происходит дальнейшая работа.

Далее проверяется наличие свойств foaf:name, foaf:phone, foaf:mbox у объекта ответственного лица набора открытых данныхhttp:///opendata/1234567890-identifer. Если эти свойства не обнаружены, то считается, что формат RDFa не обнаружен и парсинг данных в формате RDFa завершается с ошибкой «формат RDFa не обнаружен».

6.3.2.2  Парсинг данных в формате CSV

Файла ответственного лица открытых данных в формате CSV не существует, все свойства ответственного лица в формате CSV представлено в CSV файле набора открытых данных. Поэтому для получения объекта ответственного лица используется результат парсера CSV для набора открытых данных в виде двумерного массива.

Далее анализируются данные массива. Первая строка массива определяется как строка с заголовками. Остальные строки определяются как свойства ответственного лица набора открытых данных. Шестая строка определяется как имя ответственного лица, седьмая строка определяется как телефон ответственного лица, восьмая строка определяется как электронная почта ответственного лица. Третья колонка определяется как колонка содержащая значения свойств ответственного лица набора открытых данных.

Далее по очереди перебираются все свойства, которые определены выше. Если эти свойства не обнаружены, то считается, что формат CSV не обнаружен и парсинг данных в формате CSV завершается с ошибкой «формат CSV не обнаружен».

6.3.3  Результат.

Результатом проверки набора открытых данных является структурированный массив содержащий следующие данные: имя, телефон, электроная почта.

Если результат, ни в формате RDFa, ни в формате CSV не получен, то проверка ответственного лица набора открытых данных завершается с ошибкой «машиночитаемый формат ответственного лица набора открытых данных не обнаружен».

6.4  Перечень версий набора открытых данных

6.4.1  Проверка аргумента

Перечень версий набора открытых данных всегда проверяется в контексте набора открытых данных. Аргументом для проверки перечня версий набора открытых данных является слово data.

6.4.1.1  Проверка корректности аргумента

Вся проверка аргумента сводится к тому, чтобы проверить равен ли аргумент значению data. Данная проверка необходима, потому что в контексте набора открытых данных также производится проверка других объектов.

6.4.2  Парсинг данных

В текущей версии библиотеки поддерживаются следующие форматы: CSV и RDFa.

Проверка формата перечня версий набора открытых данных зависит от формата набора открытых данных. Если результат набора открытых данных был получен из формата RDFa, то перечень версий набора открытых данных получается при помощи парсера RDFa. Если же результат набора открытых данных был получен из формата CSV, то данные перечня версий набора открытых данных получаются из результата проверки набора открытых данных.

6.4.2.1  Парсинг данных в формате RDFa

Ссылка на страницу перечня версий набора открытых данных извлекается из свойства dc:source набора открытых данных. Данная страница парсится с помощью парсера RDFa. Если парсер RDFa закончил работу с ошибкой, то считается, что формат RDFa не обнаружен и парсинг данных в формате RDFa завершается с ошибкой «формат RDFa не обнаружен». Иначе, парсер возвращает структурированный массив данных со всеми содержащимися объектами RDFa на странице и их свойствами, с которыми и происходит дальнейшая работа.

Далее извлекаются и проверяются все значения наличие свойства dc:hasPart у объекта перечня версий наборов открытых данныхhttp:///opendata/1234567890-identifer. Если это свойство не обнаружено, то считается, что формат RDFa не обнаружен и парсинг данных в формате RDFa завершается с ошибкой «формат RDFa не обнаружен».

Далее извлекаются и проверяются все значения свойства dc:hasPart у объекта перечня версий наборов открытых данных. Каждое значение этого свойства потенциально является версией набора открытых данных. Именно с этого момента начинает заполнятся результат проверки перечня версий наборов открытых данных. Каждая версия набора открытых данных прошедшая проверку попадает в результат.

Каждое значение dc:hasPart является ссылкой на другой объект (объект версии набора открытых данных). И для каждого значения производится проверка на существование этого объекта в результате работы парсера RDFa. Если объект существует, то у этого объекта производится проверка на наличие свойства dc:created. Если это свойство существует и для него задано значение, то данная версия набора открытых данных включается в результат проверки перечня версий набора открытых данных. Если в результате не было включено ни одной версии набора, то считается, что формат RDFa не обнаружен и парсинг данных в формате RDFa завершается с ошибкой «формат RDFa не обнаружен».

6.4.2.2  Парсинг данных в формате CSV

Файла перечня версий набора открытых данных в формате CSV не существует, все свойства перечня версий в формате CSV представлено в CSV файле набора открытых данных. Поэтому для получения объекта перечня версий используется результат парсера CSV для набора открытых данных в виде двумерного массива.

Далее анализируются данные массива. Первая строка массива определяется как строка с заголовками. Остальные строки определяются как свойства перечня версий набора открытых данных. Девятая строка определяется как текущая версия набора, семнадцатая строка определяется как предыдущие версии набора. Третья колонка определяется как колонка содержащая значения свойств перечня версий набора открытых данных.

Далее по очереди перебираются все свойства, которые определены выше. Текущая версия и предыдущие версии являются ссылками на файл формата data-123-structure-123.csv. Если ссылка на файл соответствует регулярному выражению /^.*data-[0-9-T]+-structure-[0-9-T]+\.[a-z]*$/u, то версия набора открытых данных включается в результат проверки перечня версий набора открытых данных. Если в результате не было включено ни одной версии набора, то считается, что формат CSV не обнаружен и парсинг данных в формате CSV завершается с ошибкой «формат CSV не обнаружен».

6.4.3  Результат

Результатом проверки перечня версий набора открытых данных является структурированный массив содержащий перечень версий набора открытых данных, где по каждой версии известно 1 свойство: дата создания.

Если результат, ни в формате RDFa, ни в формате CSV не получен, то проверка перечня версий набора открытых данных завершается с ошибкой «машиночитаемый формат ответственного лица набора открытых данных не обнаружен».

6.5  Версия набора открытых данных

6.5.1  Проверка аргумента

Версия набора открытых данных всегда проверяется в контексте перечня версий набора открытых данных. Аргументом для проверки набора открытых данных является версия набора, которую можно получить из результата проверки перечня версий набора открытых данных.

6.5.1.1  Проверка наличия набора в реестре

Версия набора проверяется на наличие в перечне версий набора открытых данных. Так как проверка набора производиться в контексте перечня версий набора открытых данных, то результаты проверки перечня версий набора открытых данных уже известны. Поэтому производится проверка на наличие версии в результатах проверки перечня версий набора открытых данных. Если такой версии не существует, то проверка версии набора открытых данных завершается с ошибкой «версия набора открытых данных указана неверно».

6.5.2  Парсинг данных

В текущей версии библиотеки поддерживаются следующие форматы: CSV и RDFa.

Формат проверки версии набора открытых данных зависит от формата набора открытых данных. Если результат набора открытых данных был получен из формата RDFa, то версия набора открытых данных получается при помощи парсера RDFa. Если же результат набора открытых данных был получен из формата CSV, то данные версии набора открытых данных получаются из результата проверки набора открытых данных.