Мультимедиа в образовании: контекст информатизации (стр. 41 )

AVI файл цифрового видео

AVI ФЦВ может иметь и не иметь звуковые дорожки. При создании AVI файлов, включающих звуковое сопровождение, важным является правильная синхронизация звука с видеоизображением. Для этого используется технология чередования видеокадров и звука, которой, собственно, и определяется аббревиатура AVI (Audio Video Interleaved). Разные по типу видео и аудиоданные записываются в один файл на диске следующим образом: все информационные потоки разбиваются на множество равных частей (chunks) и затем записываются в один файл друг за другом по очереди. Например, сначала записывается заголовок; затем – 1 часть видео, за ней – 1 часть звука, потом – 2 часть видео, затем – 2 часть звука и т. д.

Иногда синхронизация видео и звука может нарушаться. Это может случиться во время оцифровки видео, когда в уже существующие дорожки добавляются новые данные. Большинство программ редактирования позволяет заново произвести синхронизацию.

DSP и ASP

Простейшие звуковые платы обычно используют специальные программные драйверы для осуществления декодирования звука. Эти драйверы занимают время центрального процессора, что замедляет работу всей системы и не позволяет на малопроизводительных компьютерах использовать совместно с воспроизведением звука компьютерную анимацию или цифровое видео. Для решения этой проблемы инженеры решили передать эти функции специализированному процессору DSP (Digital Signal Processor) и тем самым разгрузить центральный процессор для решения других задач.

В настоящее время используются два типа процессоров DSP: программируемые и непрограммируемые. В большинстве звуковых плат используются непрограммируемые DSP. Программа их работы записана на специальной микросхеме постоянной памяти (ROM) и не может изменяться без замены данной микросхемы. Драйвер звуковой платы подготавливает звуковые данные, считываемые из аудиофайла, и передает их процессору DSP, после чего DSP без участия центрального процессора декодирует данные и передает их на ЦАП, установленный на звуковой плате.

Расширенные сигнальные процессоры (ASP – Advanced Signal Processor) позволяют программировать свою работу в процессе работы приложения. Драйвер звуковой платы может перепрограммировать работу сигнального процессора для обеспечения не только декодирования звука, но и для применения в реальном режиме времени цифровых эффектов, позволяющих изменить реальное звучание. В этом случае программа работы сигнального процессора обычно находится в оперативной памяти (RAM) и загружается в зависимости от выполняемых сигнальным процессором задач.

FM-синтез

Из-за сложности и большого количества необходимых ресурсов при аддитивном синтезе, сейчас в недорогой аудиоаппаратуре используется технология модуляции гармонического сигнала.

Входная гармоническая волна воспроизводится при помощи управляемого генератора. Эта волна с заданными параметрами амплитуды, частоты или фазы модулируется в соответствии со второй гармонической волной, воспроизводимой вторым управляемым генератором. Результирующая волна обладает большим акустическим спектром и может быть приближена к естественному звучанию инструмента. Этот метод синтезирования музыкальных голосов получил название FM-синтеза. Изобрел его Джон Чоунинг, выпускник Стэнфордского университета. После чего все права на использование этого метода были переданы корпорации Yamaha.

Обычно, если модулируемая частота несущего генератора относительно низка, то небольшие ее изменения (то, что музыканты называют vibrato) не дают никаких искажений. Однако если частота увеличивается до определенного уровня, периодические изменения частоты уже не слышны, зато слышны явные искажения волны. При FM-синтезе спектр может изменяться во времени при помощи двух параметров, но звук реального инструмента изменяется совсем не так.

Фиксированные значения – важные свойства большого количества естественных звуков (тембров), которые очень трудно моделировать FM-синтезом. Фиксированные значения – это пики энергии в определенных абсолютных точках спектра для каждого индивидуального тембра. Эти пики энергии не зависят от фундаментальной частоты тембра (например, имеется пик энергии в 1100 кГц, неважно, нота ре или ми). При простом двухгенераторном FM-синтезе пики в спектре двигаются в зависимости от индекса модуляции и главной частоты (что не является истинным тембром). Чтобы аппроксимировать фиксированные значения, могут использоваться два несущих генератора вместо одного. Однако это только приближение, а не точное воспроизведение настоящего звука. Звуки ударных инструментов особенно трудны для моделирования, спектр частоты этих звуков очень богат и состоит из комплекса волн, поэтому его синтез очень проблематичен.

FM-синтезаторы OPL2 и OPL3

Так как встроенный на звуковой плате синтезатор является самым дешевым и доступным устройством, воспроизводящим MIDI последовательности, то характеристики звуковой платы, а особенно встроенного синтезатора, приобретают важное значение. В случае, если звуковая плата использует FM-синтезатор, необходимо знать, аналог какой микросхемы применен в звуковой плате: OPL2 или OPL3.

OPL2 – это синтезатор, разработанный достаточно давно. Данный синтезатор использует два программируемых генератора для создания одного голоса инструмента. Такая технология дает малореалистичные голоса инструментов, отличающиеся «электронным» звучанием.

OPL3 – это усовершенствованный синтезатор, позволяющий генерировать более реалистичные голоса. В этом синтезаторе используется три генератора, что позволяет получать более совершенную звуковую волну.

JPEG-сжатие

Стандарт JPEG (Joint Photographic Experts Group) – это стандарт сжатия растровых изображений, основанный на принципе восприятия цвета человеком. Исследования показали, что человек легче воспринимает цветовые плоскости и контрастные границы между ними и труднее различает тонкие светотеневые эффекты и незначительные изменения цветовых оттенков. В связи с этим алгоритм JPEG-сжатия предполагает сжатие информации путем сокращения оттенков цветов, используемых в изображении.

JPEG-сжатие происходит следующим образом: предварительно переведенное в цветовую систему HSB изображение делится на квадраты 8x8 пикселей, далее рассматривается средняя освещенность каждого такого квадрата, которая вычисляется прямым преобразованием по функции косинус. Далее более высокие, не воспринимаемые глазом цветовые оттенки отбрасываются, а градиентные и плавные цветовые переходы заменяются на более однородные. После чего формируется новое изображение, содержащее уже существенно меньше информации.

Как видно из алгоритма, JPEG – это формат сжатия изображений с потерей качества (loss compression), так как те данные, которые были отброшены или преобразованы, не восстанавливаются заново при декомпрессии изображений. Качество сжатия немного зависит от самого изображения, но, как известно, на любом изображении уже при соотношениях 20:1 и 25:1 начинает теряться качество. Как правило, во время компрессии пользователь может сам определять коэффициент сжатия, что позволяет достичь необходимого качества изображения при максимально возможном сжатии.

MIDI-файл

Большинство звуковых плат имеют в своем составе MIDI-интерфейс, что позволяет подключать любые электронно-музыкальные инструменты к компьютеру. При этом сам компьютер может использоваться как электронно-музыкальный инструмент или может управлять различными инструментами. В этом случае целесообразно сохранять музыкальные фрагменты при помощи обычных файлов. Формат таких файлов является стандартизированным и называется форматом MIDI-файлов.

Формат MIDI-файлов разработан международной ассоциацией MIDI и определяет порядок записи управляющих команд, определенных для MIDI-интерфейса. Этот формат является достаточно сложным и обычно формируется при записи музыкальных фрагментов специальными программами, позволяющими сочинять музыку.

Стоит заметить, что в MIDI-файле хранится информация, используемая во время обмена при помощи MIDI-интерфейса, следовательно, хранится только управляющая информация, а не информация, описывающая голос инструмента. Это основное отличие MIDI-файла от WAVE-файла, в котором записывается непосредственное звучание. Поскольку MIDI-файл содержит только управляющую информацию, то его размер обычно не превосходит 100 Кбайт, в то время как размер WAVE-файлов может достигать десятков Мбайт.

MIDI-интерфейс

MIDI-интерфейс – это специальный интерфейс, по которому несколько электронно-музыкальных инструментов могут обмениваться командами, позволяющими осуществить совместное воспроизведение музыкального фрагмента.

Данный интерфейс является промышленным стандартом, который поддерживает большинство производителей электронно-музыкальных инструментов во всем мире.

Достоинством данного интерфейса является то, что команды, пересылаемые по кабелю, соединяющему электронно-музыкальные инструменты, содержат только управляющую информацию и не содержат данные, описывающие звучание голоса инструмента, которым воспроизводится мелодия. Команды определяют только номер ноты и номер голоса звучания, а воспроизведение этой ноты полностью берет на себя данный инструмент.

MIDI-каналы и MIDI-треки

MIDI-интерфейс позволяет воспроизводить одновременно звучание нескольких инструментов (например: звук ударных инструментов и аккомпанемент, состоящий из рояля и гитары). Для этого в спецификации MIDI-интерфейса предусмотрено 16 каналов, по каждому из которых можно воспроизводить свой инструмент. Таким образом, используя все каналы, можно получить оркестр из 16 инструментов.

MIDI-интерфейс также определяет такое понятие, как MIDI-трек (дорожка). MIDI-трек обычно содержит сольную партию какого-либо инструмента, что очень удобно при создании и редактировании MIDI-файлов в редакторе. Каждому каналу можно поставить в соответствие несколько треков, т. е. можно создать, к примеру, 10 партий гитары, проиграть их одновременно и тем самым достигнуть насыщенности произведения.

MIDI-клавиатура

Для того чтобы осуществлять ввод нот в компьютер естественным образом, необходимо использовать MIDI-клавиатуру. MIDI-клавиатура – это простейшее MIDI-устройство, которое не имеет встроенного синтезатора звуков. Основное предназначение MIDI-клавиатуры – генерировать MlDI-команды для других MIDI-устройств.