Унифицированные требования к интерактивным мультимедийным электронным образовательным ресурсам (стр. 2 )

Говорят, что разработчик создает мультимедиа продукт, а пользователь получает аудиовизуальный контент. В чём нюансы этих определений? Прежде всего в том, что пользователь воспринимает интегральный аудиовизуальный образ, составленный разработчиком из множества компонентов мультимедиа. Тогда зачем мультимедиа, может быть, достаточно было снять видеофильм? Достаточно, если отказаться от операций с объектами и процессами, т. е. от интерактива. Без разделения на компоненты интерактив невозможен, и чем глубже дифференциация совокупного аудиовизуального образа, тем больше возможностей организации взаимодействия с его компонентами.

На рис. 1.1 представлена обобщённая структура мультимедиа контента, тонировкой выделено пять мультимедиа компонентов, из которых строится контент. Мультимедиа компонент – обобщённое понятие, определяющее ряд элементов, однотипных с точки зрения человеческого восприятия или схожих по технологиям создания, хранения, воспроизведения. Если рассматривать рис. 1.1 с точки зрения пользователя, компоненты в первом приближении легко различаются. Например, трудно перепутать символы со звуком, динамический визуальный ряд – со статическим.

Но полагаться только на человеческое восприятие при анализе мультимедиа контента нельзя. Например, пользователь, обнаружив в составе контента некоторый текст, легко отнесёт его к компоненту «символьная информация». Однако символы могут быть реализованы в рамках любого визуального компонента. Действительно, текст может быть рисованным (статический синтезированный визуальный ряд), представлять собой титры в видеосюжете (динамический реалистический визуальный ряд), текстовые символы могут быть представлены также с помощью анимации (динамический синтезированный визуальный ряд). И только шрифтовой текст, полученный путем клавиатурного ввода, относится к мультимедиа компоненту «символьная информация». Таким образом, в данном случае критерии отнесения к тому или иному мультимедиа компоненту являются технологическими.

Рис. 1.1. Структура мультимедиа контента

С другой стороны, в рамках одного мультимедиа компонента могут использоваться различные технологии. Так, звукоряд может быть реалистическим или синтезированным. В первом случае технология создания – цифровая запись речи или полифонической музыки (симфонический оркестр). Во втором – создание полифонической музыки на одном единственном инструменте – электронном синтезаторе, выдающем не оцифрованный звук, а наборы определённых команд. Способы воспроизведения реалистического и синтезированного звукоряда также значительно различаются: для синтезированного используется специальное аппаратно-программное устройство, реализующее записанные команды, – секвенсор MIDI (Musical Instrument Digital Interface). Наконец, объёмы хранения реалистического звука выше на порядок. И все же в данном случае разделение на два компонента нецелесообразно: разницу при воспроизведении «живой» и MIDI-музыки услышит далеко не каждый пользователь. Ещё одним аргументом в пользу объединения синтезированных и реалистических звуков в один компонент служит технологическая возможность приведения MIDI-музыки к формату реалистического звукоряда.

Последнее замечание касается визуальных компонентов. Из рис. 1.1 следует, что статические реалистические и синтезированные изображения объединены в один компонент. Дело в том, что далеко не всегда с первого взгляда очевидно различие художественной фотографии и рисунка. Технологии хранения и воспроизведения в обоих случаях одинаковы, а фотографирование произведений искусства (например, картин) делает неразличимыми и технологии создания. Отличие в восприятии и технологических характеристиках было бы значительным при увеличении размерности реалистических изображений, но объёмные (трёхмерные) фотографии пока в мультимедиа продуктах не используются. Противоположная ситуация – в динамических визуальных компонентах: широкое использование трёхмерной (3D) анимации, принципиально отличающейся от кино-/видеопродукции, выделяет весь синтезированный динамический визуальный ряд в отдельный компонент.

Разделение мультимедиа контента на компоненты позволяет структурировать его в общем виде, исходя из восприятия пользователя и технологических отличий. Однако при разработке или экспертизе интерактивных мультимедиа продуктов требуется детальное описание контента в определенной терминологии, однозначно характеризующей структурные единицы с точки зрения психофизиологии, технологии и функциональных возможностей.

Минимальной структурной единицей мультимедиа контента как по объёму, так и по функциональности является медиаэлемент. Медиаэлементы лежат в основе мультимедиа, это элементарные составляющие, «кирпичи» или «атомы», объединение которых и даёт мультимедиа.

Разделяют две группы медиаэлементов: статические и динамические. К первой группе относятся: текст (символьная информация), фото (реалистический визуальный ряд), рисунок (синтезированный визуальный ряд). К группе динамических (зависящих от времени) медиаэлементов относятся: звук (звуковой ряд), видео (реалистический визуальный ряд), анимация (2D-динамический синтезированный визуальный ряд).

Цифровые кодировки медиаэлементов достаточно разнообразны, так что каждый из них может быть представлен в нескольких форматах. Медиаэлемент любого формата располагается в одном компьютерном файле. Воспроизведение медиаэлемента не требует оригинального сценария (scenario), об интерактивности, соответственно, говорить не приходится.

Структурная единица мультимедиа контента следующего, более высокого уровня, – медиакомбинация – объединяет в одном файле несколько динамических медиаэлементов. Медиакомбинация – это синхронизированная совокупность одинаковых или разных динамических медиаэлементов, размещаемых в одном компьютерном файле. Типичные примеры медиакомбинаций – стереозвук, озвученные видео или анимация.

Не следует путать медиакомбинации с динамическими медиаэлементами, в которые включена имитация статических. Например, фрагментом видео может быть статическое изображение, получаемое путем повтора идентичных видеокадров, что не мешает отнесению всего видеофайла к динамическим медиаэлементам. Для воспроизведения медиакомбинаций так же, как и для медиаэлементов, не требуется scenario. Управление воспроизведением линейной динамической последовательности путем перемещения по оси времени не является взаимодействием с контентом, иными словами, контент медиакомбинаций не интерактивен.

Стоит отметить, что обобщенное понятие мультимедиа компонента включает соответствующие медиаэлементы и медиакомбинации. Например, озвученное видео и видео без звука относятся к одному и тому же компоненту – динамическому реалистическому визуальному ряду.

Объединение медиаэлементов и/или медиакомбинаций для одновременного воспроизведения определяется как мультимедиа композиция. Осмысленное объединение в композицию медиаэлементов и медиакомбинаций составляет у пользователя представление о реальных или воображаемых объектах/процессах. При этом мультимедиа композиции могут строиться с определённой степенью условности, равно как и любая художественная композиция. С технологический точки зрения основное отличие композиции от элемента и комбинации заключается в использовании группы файлов, каждый из которых содержит некоторый медиаэлемент или медиакомбинацию.

Для согласованного (в пространстве или во времени) представления содержимого этих файлов требуется определенный scenario – оригинальный программный компонент, реализующий размещение элементов контента на экране, распределение демонстрации аудиовизуальных элементов во времени или при наступлении определённого события, их синхронизацию и т. д. Для интерактивных композиций scenario определяет также реакции на действия пользователя. Однако допускаются и неинтерактивные мультимедиа композиции, например, слайд-шоу или 3D-анимация в автоматическом режиме, статическая фоновая композиция и др.

Интегрирующей, содержательно и функционально завершённой единицей мультимедиа контента является сцена. Заимствование театрального термина не случайно: мультимедиа контент с той или иной степенью адекватности представляет фрагменты реального или воображаемого мира, и ровно те же задачи решаются в театральных представлениях.

Мультимедиа сцена – полноэкранный интегральный образ, объединяющий единым замыслом и логическими связями медиаэлементы, медиакомбинации и мультимедиа композиции для представления определённой совокупности объектов и процессов в интерактивном режиме.

Сцена полностью занимает отведённое данному продукту поле контента, для её построения используется множество файлов, обязательным условием является интерактивность всех или части представляемых в сцене объектов/процессов. Понятно, что для построения и функционирования мультимедиа сцены используется нетривиальный scenario.

В таблице 1.1 приведены все структурные единицы мультимедиа контента с характерными признаками и примерами.

Таблица 1.1

Структурные единицы мультимедиа контента

Характеристика Наименование	Кол-во файлов	Наличие scenario	Интерактивность	Примеры
Медиаэлемент	1	−	−	текст, фото, рисунок; звук, видео, 2D-анимация
Медиакомбинация	1	−	−	видео + звук, стереофонический звук
Мультимедиа композиция	> 1	+	+/−	гармоничное сочетание медиаэлементов, несущее смысловую нагрузку
Мультимедиа сцена	>> 1	+	+	адекватное представление фрагмента реального или воображаемого мира

Полезно соотнести между собой определённые структурные единицы мультимедиа контента. Так, расширение интерактивной мультимедиа композиции до границ поля контента превращает её в эквивалент сцены, при условии смысловой нагрузки, исчерпывающей замысел. С другой стороны, некоторые фрагменты сцены в интерактивном режиме могут претерпевать изменения, реализуемые с помощью медиаэлементов, медиакомбинаций, локальных мультимедиа композиций. С целью отражения этих возможностей вводится дополнительное понятие мизансцены.