Разработка программной среды для оценки качества видеоинформации

Конкурс «Телеком Идея»

РАЗРАБОТКА ПРОГРАММНОЙ СРЕДЫ ДЛЯ ОЦЕНКИ КАЧЕСТВА ВИДЕОИНФОРМАЦИИ

Инновации в программных продуктах

Проект посевной стадии (Seed-проект)

Заявитель проекта

cтудентка, Ярославский государственный университет им.

Ярославль, 2012

2. АННОТАЦИЯ ПРОЕКТА

В настоящее время в области оценки качества видеоинформации отсутствует унифицированный инструмент численного измерения качества видеоинформации. Это не позволяет эффективно использовать существующие критерии качества при построении новых систем обработки, затрудняет сравнение результатов полученных разными группами исследователей. Ввиду этого представляется актуальным создание программной среды для оценки качества видеоинформации.

Особенную важность данная область исследований приобрела в связи с переходом России к цифровому телерадиовещанию, и в частности к многопрограммному цифровому телевидению (в соответствии с распоряжением Правительства Российской Федерации от 21.01.2011 № 57-р «Об утверждении плана использования полос радиочастот в рамках развития перспективных радиотехнологий в Российской Федерации»).

Результаты интеллектуальной деятельности в рамках проекта защищены в соответствии с законодательством Российской Федерации (свидетельство о регистрации программы для ЭВМ «PicLab – научно-исследовательская среда для обработки цифровых изображений» №2008612068, свидетельство о регистрации программы для ЭВМ «PicLab. SQA – программа для проведения субъективной экспертизы оценки качества изображений» № 2011613846).

Результаты исследований были удостоены дипломами победителя и лауреата конкурсов:

1.  Конкурс на получение стипендии Фонда имени Аниты Борг - 2011 (The Google Anita Borg Memorial Scholarship: Europe, the Middle East and Africa);

2.  Конкурс научно-исследовательских работ студентов ВУЗов, расположенных на территории Ярославской области (в соответствии с Распоряжением Губернатора Ярославской области от 14.07.2011 №314-р);

3.  Всероссийский конкурс на лучшую научную работу студентов в области радиоэлектроники и связи за 2011 г, проводимый Российским научно-техническим обществом радиотехники, электроники и связи им. (Постановление Президиума центрального совета №18/3 от 29 июня 2011 г.) и др.

Программная среда, предназначенная для автоматизированной оценки качества изображений и видеопоследовательностей с помощью эталонных и неэталонных метрик, может использоваться в системах цифрового, мобильного, интернет-телевидения, системах регистрации изображений, распознавания образов и слежения за объектами и в других прикладных задачах цифровой обработки изображений (при разработке устройств анализа качества, передачи, обработки и хранения визуальной информации). Программная среда отличается от существующих аналогов наличием неэталонных метрик, возможностью добавления новых метрик оценки качества и меньшей стоимостью.

Использование разрабатываемой программной среды позволит улучшать известные алгоритмы обработки изображений, что в конечном итоге приведет к увеличению качества предоставляемых пользователям услуг и снижению издержек.

В настоящее время предварительную заинтересованность в программном продукте обозначили 3 отечественные компании, занятые разработкой алгоритмов/аппаратных средств в области цифровой обработки изображений.

3. ИНФОРМАЦИЯ О ЗАЯВИТЕЛЕ

Фамилия, имя, отчество –

возраст – 22 года

роль заявителя в реализации заявляемого проекта – руководитель проекта

основное место работы, должность – ЯрГУ им. , студентка

почтовый адрес – 150052, г. Ярославль, ул. Е. Колесовой, д. 78, кв. 81

номер телефона – [phone]

адрес электронной почты – olyagushchina@gmail. com

4. СОВРЕМЕННОЕ СОСТОЯНИЕ ИССЛЕДОВАНИЙ И РАЗРАБОТОК В ОБЛАСТИ РЕАЛИЗАЦИИ ПРОЕКТА. НОВИЗНА ПРЕДЛАГАЕМОГО ПОДХОДА
ПО СРАВНЕНИЮ С ИЗВЕСТНЫМИ

Цифровая обработка изображений в настоящее время широко используется в системах телекоммуникаций, видеонаблюдения, радио - и гидролокации, робототехнике, радиоастрономии, системах мониторинга и обнаружения опасных ситуаций, медицине. При синтезе и анализе алгоритмов обработки цифровых изображений и видеопоследовательностей (сжатие, распознавание образов, улучшение) одним из актуальных направлений исследований является оценки качества обрабатываемого изображения или видеосигнала.

В настоящее для оценки качества изображений и видеопоследовательностей наиболее широко используются:

1)  субъективная оценка качества изображений и видеопоследовательностей (согласно рекомендации ITU-R BT.500-11.) с привлечением большого количества экспертов. Основной недостаток такого подхода - высокая стоимость проведения эксперимента;

2)  алгоритмы автоматической оценки качества, такие, например, как ПОСШ (пиковое отношение сигнал/шум), которые недостаточно хорошо коррелированы с субъективно воспринимаемым качеством и не учитывают ряд особенностей, возникающих в процессах искажения изображений.

В результате анализа современной научно-технической литературы также было выявлено следующее:

-  в разработке количественных (объективных) критериев качества изображений за последние десятилетия были достигнуты определенные успехи. Среди наиболее авторитетных авторов в этой области можно выделить А. Бовика, , К. Егиазаряна,
и др.

-  отсутствует унифицированное программное обеспечение для автоматизированной оценки качества изображений и видеопоследовательностей;

-  В России уделяется недостаточное внимание рассматриваемой области цифровой обработки изображений с точки зрения инноваций. В области разработки прикладного программного обеспечения практически не применяются современные методы оценки качества изображений, которые рассматриваются по большей части лишь на теоретическом уровне.

Таким образом, проблема разработки и анализа критериев оценки качества визуальной информации является важной, ключевой задачей. За рубежом (например, в США) аналогичные технологии зачастую разрабатываются при участии военных ведомств и помогают сократить издержки (временные, материальные, человеческие) при построении сложных технических систем обработки информации, использующихся в военных целях. Более того, наиболее перспективные технологии (например, разработки Lockheed Martin Corporation - http://www. lockheedmartin. com/) являются полузакрытыми и не подлежат распространению за пределами США.

Основные преимущества предлагаемого проекта:

-  разрабатываемая программная среда позволит осуществлять автоматическую оценку качества изображений и/или видеопоследовательностей;

-  использование неэталонных критериев качества позволит оценивать качество «вслепую», при отсутствии оригинала, что имеет исключительную важность с точки зрения практических приложений;

-  разрабатываемая программная среда может использоваться как для оптимизации систем обработки изображений и видео, так и для сравнения результатов, полученных разными группами разработчиков.

Научные исследования руководителя проекта были отмечены:

-  Стипендией Президента Российской Федерации на 2010/2011 уч. год;

-  Стипендией фонда им. А. Борг компании Google, 2011 г. (The Google Anita Borg Memorial Scholarship: Europe, the Middle East and Africa);

-  Дипломом и грантом в конкурсе «Проекты молодежи – на благо России» по программе У. М.Н. И.К.-2011 фонда Бортника;

-  Дипломом за участие в смене Зворыкинского проекта «Инновации и техническое творчество» на Международном молодежном форуме Селигер-2010;

-  Дипломом и грантом третьего внутривузовского конкурса «Молодежь и Наука»;

-  Дипломом 2ой степени по результатам XVII международной научно-технической конференции студентов и аспирантов «Радиотехника, электротехника и энергетика» (Москва, МЭИ, 2011);

-  Дипломом конкурса научно-исследовательских работ студентов ВУЗов, расположенных на территории Ярославской области (в соответствии с Распоряжением Губернатора Ярославской области от 14.07.2011 №314-р);

-  Дипломом всероссийского конкурса научных работ студентов в области радиоэлектроники и связи за 2011 год.

Полученные научные результаты опубликованы в печати (1 статья в журнале из перечня ВАК - «Успехи современной радиоэлектроники») и обсуждались на 10 научно-технических конференциях, в том числе на пяти международных:

1.  Международная междисциплинарная конференция International MultiConference of Engineers and Computer Scientists 2012, Гонк-Конг (Hong Kong, 2012);

2.  20-ая Международная Конференция по Компьютерной Графике и Зрению GraphiCon’2010, Санкт-Петербург;

3.  13-ая международная конференция «Цифровая обработка сигналов и ее применение» (DSPA-2011), Москва;

4.  14-ая международная конференция «Цифровая обработка сигналов и ее применение» (DSPA-2012), Москва;

5.  17-ая международная научно-техническая конференция студентов и аспирантов «Радиотехника, электротехника и энергетика», Москва, МЭИ, 2010;

6.  LХV научная сессия, посвященная Дню радио, Москва, 2010;

7.  Всероссийская научная конференция «Молодые исследователи – регионам», Вологда, 2010;

8.  64-ая региональная научно-техническая конференция студентов, аспирантов и магистрантов высших учебных заведений с международным участием, Ярославль, 2011;

9.  Областная научно-практическая конференция студентов, аспирантов и молодых ученых вузов Ярославской области «Ярославский край. Наше общество в третьем тысячелетии», Ярославль, 2010;

10.  38-ая научная студенческая конференция ЯрГУ, Ярославль, 2010.

5. СУЩНОСТЬ ПРЕДЛАГАЕМОЙ РАЗРАБОТКИ

При разработке и оптимизации систем фильтрации/восстановления одной из важнейших составляющих процесса исследования является необходимость оценивать качество восстанавливаемого или улучшаемого изображения. Методы оценки качества принято разделять на объективные (математические алгоритмы) и субъективные (экспертные оценки). Объективные методы в свою очередь разделяются на два класса: эталонные и неэталонные. Классификация современных методов оценки качества изображений и видеопоследовательностей приведена на рис. 5.1.

Рис. 5.1. Классификация современных методов оценки качества

Наиболее точной мерой качества изображений на сегодняшний день является результат субъективного визуального анализа. Однако проведение такого рода экспертиз не всегда удобно, поскольку занимает достаточно много времени и требует привлечения большого количества людей.

Для определения степени корреляции между объективными метриками и субъективными экспертными оценками в рамках исследований был проведен эксперимент по субъективной оценке качества изображений с использованием специализированной программной среды Piclab. SQA
(рис. 5.2), разработанной ЯрГУ в соавторстве с заявителем. Субъективная экспертиза оценки качества производилась в соответствии с методологией
ITU-R BT.500-11.

Проведенное исследование позволило выявить наиболее эффективные эталонные и неэталонные метрики оценки качества.

Рис. 5.2. Интерфейс программной среды для проведения эксперимента по субъективной оценке качества изображений

При разработке программной среды для оценки качества видеоинформации использовались: современные методы цифровой обработки изображений и видеоинформации, математический и функциональный анализ, теория вероятностей, математическая статистика, теория случайных процессов. Для практической реализации применялись методы статистического моделирования, современные численные методы, методы объектно-ориентированного программирования на языке С++.

Основные характеристики разрабатываемой программной среды приведены в таблице 5.1, а интерфейс – на рис. 5.3.

Таблица 5.1

Основные характеристики разрабатываемой программной среды

	PicLab
Сайт проекта	http://www. piclab. ru/
Количество метрик и их тип	10, эталонные и неэталонные (в ближайшее время планируется увеличение количества метрик)
Поддерживаемые форматы данных	Основные форматы цифровых изображений и видеопоследовательностей
Пользовательский интерфейс	Графический
Возможность добавления метрик	Существует
Тип оцениваемого сигнала	Изображения и видео
Экспорт результатов в MS Office	Да
Стоимость	Бесплатно / 499 $

Рис. 5.3. Интерфейс программной среды для оценки качества видеоинформации

Предлагаемый программный продукт позволит:

–  проводить анализ и давать оценки развития инфокоммуникационных систем обработки и передачи визуальной информации;

–  оказывать информационные, консультационные и аналитические услуги в данной области;

–  выявлять возможности коммерциализации результатов научно-исследовательской и инновационной деятельности.

Программная среда для оценки качества видеоинформации найдет применение в разработке систем цифрового, мобильного, трехмерного, интернет-телевидения, устройств регистрации изображений и видеопоследовательностей, систем передачи и хранения визуальной информации. Использование адекватных человеческому восприятию алгоритмов анализа качества визуальной информации позволит улучшать известные алгоритмы сжатия и фильтрации, что в конечном итоге приведет к увеличению качества предоставляемых пользователям услуг и снижению издержек.

Использование разрабатываемой программной среды позволит улучшать известные алгоритмы обработки изображений, что в конечном итоге приведет к увеличению качества предоставляемых пользователям услуг и снижению издержек.

6. ПРАВА НА ИНТЕЛЛЕКТУАЛЬНУЮ СОБСТВЕННОСТЬ

Разрабатываемая программная среда зарегистрирована в Федеральной службе по интеллектуальной собственности, патентам и товарным знакам (ФГУ ФИПС) – получено свидетельство о регистрации программы для ЭВМ «PicLab – научно-исследовательская среда для обработки цифровых изображений» №2008612068. В целях защиты интеллектуальной собственности дополнительно в Роспатенте была зарегистрирована программа для ЭВМ «PicLab. SQA -  программа для проведения субъективной экспертизы оценки качества изображений», о чем было получено соответствующее свидетельство № 2011613846.

Технических решения, защищенные патентами сторонних организаций или лиц, при разработке программной среды не использовались.

7. КОНКУРЕНТНЫЕ ПРЕИМУЩЕСТВА

В качестве основных конкурентов разрабатываемой среды для оценки качества видеоинформации можно отметить программные продукты MSU Video Quality Measurement Tool, Elecard Video Quality Estimator, Video Quality Studio и PSNR Checker характеристики которых приведены в табл. 7.1.

Таблица 7.1

Основные характеристики конкурентных продуктов

	MSU Video Quality Measurement Tool	Elecard Video Quality Estimator	Video Quality Studio	PSNR Checker
Стоимость	Бесплатно / 999$	220$	Бесплатно	Бесплатно
Сайт проекта	http://www. compression. ru/video/index_ru. htm	http://www. elecard. com/en/products/professional/analysis	http://visumalchemia. com/vqstudio/	http://www. codec. ru/information/psnr_checker. html
Количество метрик и их тип	12, эталонные	8, эталонные	3, эталонные	1, эталонная
Поддерживаемые форматы данных	AVI, MOV, WMV, MP4, MPG и др.	Любой (при наличии совместимого декодера в системе)	AVI	AVI
Пользовательский интерфейс	Графический + командная строка	Графический	Графический	Графический
Возможность добавления метрик	Только для разработчиков
Тип оцениваемого сигнала	Только видеопоследовательности
Экспорт результатов в MS Office	Нет

Приведенные в таблице данные свидетельствуют о превосходстве программы MSU Video Quality Measurement Tool над аналогами. Тем не менее, стоимость данного ПО для коммерческого использования достаточно высокая. Кроме того, недостатком MSU Video Quality Measurement Tool является отсутствие возможности оценки качества неподвижных изображений.

Анализ приведенных данных позволяет сформулировать основные конкурентные преимущества разрабатываемой программной среды (см. табл. 5.1 и 7.1):

-  использование наиболее эффективных эталонных и неэталонных метрик (для этого в рамках исследований был проведен эксперимент по субъективной оценке качества изображений с целью определения корреляции между объективными метриками и субъективными экспертными оценками);

-  возможность добавления новых метрик и экспорта результатов;

-  использование в качестве оцениваемого сигнала как неподвижных изображений, так и видеопоследовательностей;

-  более низкая стоимость.

Использование предлагаемой программной среды (а также дальнейшие работы в рамках проекта) не требует получения специальных разрешений, лицензий и сертификатов, в т. ч. международных.

8. РЫНОК СБЫТА

Основными потребителями предлагаемого программного продукта будут крупные и малые предприятия (отечественные и зарубежные), занимающиеся разработками в области цифровой обработки изображений, в т. ч. научными исследованиями, опытно-конструкторскими работами, отладкой и/или тестированием программных/аппаратных средств. Характеристика целевого рынка программной среды приведена в табл. 8.1.

Таблица 8.1

Целевой рынок предлагаемой программной среды

Места применения	Сфера применения
Системы анализа изображений	Как средство для отбора «хороших» изображений/видеопоследовательностей. Интеграция в поисковые системы (Google, Yandex, Bing)
Компании, занятые разработкой алгоритмов/аппаратных средств в области цифрового телевидения	В рамках проводимых научных исследований и опытно-конструкторских работ в области цифрового телевидения и потребительской телевизионной техники. Оптимизация алгоритмов цифровой обработки изображений в системах цифрового, мобильного и интернет-телевидения.
Глобальный рынок ПО	В качестве средства для классификации изображений в базах данных (например, в социальных сетях или сетевых хранилищах). Для объективного анализа работы алгоритмов сжатия и фильтрации изображений и видео.
Системы распознавания образов и слежения за объектами	Оценка эффективности работы систем регистрации и обработки изображений/видео. Определение необходимых параметров используемых алгоритмов/устройств и их оптимизация
ВУЗы Исследования Учебный процесс	В качестве ПО для отладки/тестирования алгоритмов цифровой обработки изображений. Использование для проведения НИР в Российских ВУЗах.

9. ПОРЯДОК КОММЕРЦИАЛИЗАЦИИ РЕЗУЛЬТАТОВ РАЗРАБОТКИ

Работы над проектом осуществляются в ЯрГУ им. , в состав команды проекта входят 3 человека (табл. 9.1). Также к работам над проектом дополнительно могут привлекаться аспиранты и студенты ЯрГУ (до 15 человек). Календарный план проекта приведен в табл. 9.2.

Таблица 9.1

Команда проекта

№ п/п	ФИО, возраст	Должность, уч. степень, уч. звание	Основные национальные и международные премии и награды в области науки, техники и образования	Роль в реализации проекта
1	2	3	4	5
1.	(заявитель) 22 года	Электроник кафедры динамики электронных систем ЯрГУ, студентка	Стипендиат Президента РФ на 2010/2011 учебный год (Приказ Минобрнауки РФ от 16 декабря 2010 г., №1889) Победитель программы «Участник Молодежного Научно-Инновационного Конкурса» («УМНИК») 2011 года Стипендиат фонда им. А. Борг компании Google, 2011 г. (The Google Anita Borg Memorial Scholarship: Europe, the Middle East and Africa)	Руководитель проекта
2.	29 лет	К. т.н., доцент кафедры динамики электронных систем ЯрГУ	Диплом за участие в смене Зворыкинского проекта «Инновации и техническое творчество» форума Селигер-2010. Диплом участника полуфинала конкурса инновационных проектов «Зворыкинская премия». Стипендиат Intel 2006 года.	Научный руководитель, архитектор программного продукта
4.	23 года	Инструктор региональной сетевой академии Cisco	Стипендиат Президента РФ на 2009/2010 учебный год (Приказ Минобрнауки РФ от 13 ноября 2009 г., №2048)	Инновационный менеджер

Таблица 9.2

Календарный план развития проекта

№	Название этапа	Срок	Основные работы по этапу
1.	Этап проектирования	авг. 2011– авг. 2012	Анализ научно-технических источников в области современных алгоритмов оценки качества изображений и видеопоследовательностей
Разработка пользовательского интерфейса и архитектуры программной среды
2.	Этап построения	сент. 2012 – авг. 2012	Реализация программной среды в виде приложения в ОС MS Windows
Разработка и анализ эталонных и неэталонных алгоритмов оценки качества изображений
3.	Этап развития проекта	сент. 2012 – фев. 2013	Составление технической документации
Обеспечение многоязыковой поддержки
Составление рекомендаций по использованию метрик оценки качества в различных задачах обработки изображений: сжатие, фильтрация, распознавание образов
4.	Этап коммерциализации	март 2013 – дек. 2013	Консультации с потенциальными заказчиками
Определение стратегии вывода ПО на рынок
Реализация ПО

Среди потенциальных заказчиков программного продукта можно отметить ЗАО «МНИТИ» и научно-технический центр ФГУП «ГРЧЦ». Предполагается, что объектом продаж будет непосредственно программный продукт.

Места применения	Сфера применения
ЗАО МНИТИ (г. Москва)	В рамках проводимых ЗАО «МНИТИ» научных исследований и опытно-конструкторских работ в области цифрового телевидения и бытовой телевизионной техники.
Научно-технический центр ФГУП «ГРЧЦ» (г. Москва)	Анализатор искажений цифрового кодирования видео. Оптимизация алгоритмов в системе мобильного видеовещания РАВИС (Российская АудиоВизуальная Информационная Система).

10. СОСТОЯНИЕ И ИСТОЧНИКИ ИНВЕСТИРОВАНИЯ В РЕАЛИЗАЦИЮ ПРОЕКТА

В рамках проводимых исследований были получены следующие гранты, направленные на финансирование работ по проекту:

-  Стипендия фонда им. А. Борг компании Google, 2011 г. (The Google Anita Borg Memorial Scholarship: Europe, the Middle East and Africa) (300 тыс. руб);

-  Конкурс «Проекты молодежи – на благо России» по программе У. М.Н. И.К.-2011 (200 тыс. руб*2года);

-  Грант третьего внутривузовского конкурса «Молодежь и Наука», ЯрГУ (15 тыс. руб.).

В настоящее время планируется сотрудничество с Управлением научных исследований и разработки цифровых систем передачи информации (УНИЦС) при ФГУП «ГРЧЦ» (http://www. grfc. ru/grfc/nauka/index. htm) г. Москва в рамках разрабатываемой Российской системы мобильного видеовещания РАВИС.

Проект принимал участие в конкурсе Зворыкинская премия (Росмолодежь, http://www. innovaterussia. ru/) 2010 и 2011 года.

Участники проекта принимали участие в Global Technology Symposium (Silicon Valley, California, USA) по итогам которого были установлены деловые контакты с Российскими и Американскими венчурными компаниями.

11. ПРЕДСТОЯЩИЕ ЗАТРАТЫ ПО ПРОЕКТУ

№	Название этапа	Срок	Виды деятельности	Оценка затрат
1.	Этап проектирования	авг. 2011– авг. 2012	НИР, НИОКР, разработка ПО, формирование оборотных средств, контакты с венчурными фондами и бизнес-ангелами	100 000 руб.
2.	Этап построения	сент. 2012 – авг. 2012	Разработка ПО, сертификация ПО, определение стратегии вывода ПО на рынок,	200 000 руб.
3.	Этап развития проекта	сент. 2012 – фев. 2013	Составление технической документации, обеспечение многоязыковой поддержки, кросс-платформенность, консультации с потенциальными заказчиками,	150 000 150 000 Николаевна (заявитель), руб.
4.	Этап коммерциализации	март 2013 – дек. 2013	Реализация ПО, реклама проекта	250 000 руб.