Алгоритм извлечения открытых данных (стр. 5 )

7.2.3.2  Предлагаемое решение

Публиковать файлы с экранирующим символом «\».

7.2.3.3  Реализованный алгоритм

В качестве экранирующего символа используется «\» (обратный слэш).

7.2.4  Определение символа ограничителя поля

7.2.4.1  Существующая проблема

Невозможно точно определить символ ограничителя поля CSV файла. Данный вопрос не определен МР 2.3, и поэтому CSV файлы потенциально могут встречаются с различными символами ограничителя поля. Но на текущий момент таких проблем не замечено и все CSV файлы используют единый символ ограничителя поля.

7.2.4.2  Предлагаемое решение

Публиковать файлы с символом разделителем поля «"».

7.2.4.3  Реализованный алгоритм

В качестве символа ограничителя поля используется «"» (двойные кавычки).

7.2.5  Определение разделителя поля

7.2.5.1  Существующая проблема

Невозможно точно определить разделитель полей CSV файла. Данный вопрос не определен МР 2.3, и поэтому CSV файлы встречаются с различными разделителями полей.

7.2.5.2  Предлагаемое решение

Публиковать файлы с разделителем «,». И хотя алгоритм предполагает в исключительных случаях неверное определение разделителя «,», но тогда это будет являться ошибкой алгоритма, а не публикатора. Считается что разделитель «,» должен определятся безошибочно, и если это не так, то тогда необходимо улучшать алгоритм.

7.2.5.3  Реализованный алгоритм

Алгоритм допускает возможность использования двух разделителей: «,» и «;». Использование других разделителей определено не будет. Алгоритм по очереди перебирает доступные разделители.

Алгоритм проводит следующие действия для каждого возможного разделителя.

Первая строка разбивается на отдельные поля согласно перебираемому на текущий момент разделителю. Если количество полей меньше 2 или больше 10, то устанавливается, что разделитель выбран неверно, и проверка переходит к следующему возможному разделителю.

Иначе определяется длина каждого поля заголовка. Если эта длина для какого-нибудь поля больше 255, то устанавливается, что разделитель выбран неверно, и проверка переходит к следующему возможному разделителю.

Иначе проверка переходит к остальном значениям CSV файла. Каждая строка разбивается на отдельные поля согласно перебираемому на текущий момент разделителю. Если хотя бы в одном из значений количество полей значения не соответствует количеству полей заголовка, то устанавливается, что разделитель выбран неверно, и проверка переходит к следующему возможному разделителю.

Иначе считается, что разделитель определен верно, перебираемый разделитель устанавливается в качестве правильного для данного CSV файла и определение разделителя на этом заканчивается.

Если во время поиска разделитель не был определен, то парсер CSV формата заканчивает работу с ошибкой «файл не найден».

7.2.6  Возвращение полученных данных

Если ошибок в работе парсера не обнаружено, то полученные данные в виде двумерного массива возвращаются в алгоритм вызвавший этот парсер.

8  Краткая выдержка всех требований к открытым данным

Ниже представлена краткая выдержка всех требований, применяемых во всех алгоритмах во всех разделах. Данный список удобно использовать для контрольной проверки публикации открытых данных.

8.1  Требования к реестру наборов открытых данных

1.  Если установлено перенаправление с главной страницы сайта на другой сайт (http статус 3xx и значением «Location» является абсолютный путь на другой сайт), то все дальнейшие требования применяются для нового адреса сайта.

2.  Адрес сайта «http:///» (здесь и далее значение «http:///» приведено в качестве примера проверяемого сайта) соответствует регулярному выражению «/^https?:\/\/[a-zа-яё0-9\-]+(\.[a-zа-яё0-9\-]+)*\.[a-zа-яё]{2,4}\/$/u».

3.  Главная страница сайта по адресу «http:///» открывается (http статус меньше 400).

4.  Страница реестра наборов открытых данных по адресу «http:///opendata» открывается (http статус меньше 400).

5.  Машиночитаемый формат существует в одном из ниже представленных форматов:

5.1. Требования для формата RDFa:

5.1.1. Страница реестра набора открытых данных по адресу «http:///opendata» содержит RDFa.

5.1.2. На странице «http:///opendata» присутствует RDFa объект «http:///opendata».

5.1.3. RDFa объект «http:///opendata» имеет свойство «rdf:type».

5.1.4. Значением свойства «rdf:type» RDFa объекта «http:///opendata» является значение «dc:Collection».

5.1.5. RDFa объект «http:///opendata» имеет свойство «dc:hasPart».

5.1.6. Значением свойства «dc:hasPart» RDFa объекта «http:///opendata» являются ссылки на объекты, к каждому значению предъявляются следующие требования:

5.1.6.1.  Ссылка соответствует формату «http:///opendata/1234567890-data1» (здесь и далее значение «http:///opendata/1234567890-data1» приведено в качестве примера значения свойства «dc:hasPart» RDFa объекта «http:///opendata»), где значение «1234567890-data1» соответствует регулярному выражению «/^[0-9]{10}-[a-zA-Z0-9_-]+$/u».

5.1.6.2.  На странице «http:///opendata» присутствует RDFa объект «http:///opendata/1234567890-data1».

5.1.6.3.  RDFa объект «http:///opendata/1234567890-data1» имеет свойство «dc:title».

5.1.6.4.  Значение свойства «dc:title» RDFa объекта «http:///opendata/1234567890-data1» не является пустым.

5.2. Требования для формата CSV:

5.2.1. Файл по адресу «http:///opendata/opendatalist. csv» существует (http статус меньше 400).

5.2.2. Кодировка файла «UTF-8» или «Windows-1251» (тоже самое что и «CP-1251»).

5.2.3. Экранирующий символ CSV файла «\».

5.2.4. Ограничитель полей CSV файла «"».

5.2.5. Разделитель полей CSV файла «,» или «;».

5.2.6. К каждой строке кроме первой, предъявляются следующие требования:

5.2.6.1.  Ссылка на паспорт набора содержится в колонке 3.

5.2.6.2.  Ссылка соответствует формату «http:///opendata/1234567890-data1», где значение «1234567890-data1» соответствует регулярному выражению «/^[0-9]{10}-[a-zA-Z0-9_-]+$/u».

5.2.6.3.  Значение колонки 2 не является пустым.