Мультимедиа в образовании: контекст информатизации (стр. 41 )

Расширенные сигнальные процессоры (ASP – Advanced Signal Processor) позволяют программировать свою работу в процессе работы приложения. Драйвер звуковой платы может перепрограммировать работу сигнального процессора для обеспечения не только декодирования звука, но и для применения в реальном режиме времени цифровых эффектов, позволяющих изменить реальное звучание. В этом случае программа работы сигнального процессора обычно находится в оперативной памяти (RAM) и загружается в зависимости от выполняемых сигнальным процессором задач.

FM-синтез

Из-за сложности и большого количества необходимых ресурсов при аддитивном синтезе, сейчас в недорогой аудиоаппаратуре используется технология модуляции гармонического сигнала.

Входная гармоническая волна воспроизводится при помощи управляемого генератора. Эта волна с заданными параметрами амплитуды, частоты или фазы модулируется в соответствии со второй гармонической волной, воспроизводимой вторым управляемым генератором. Результирующая волна обладает большим акустическим спектром и может быть приближена к естественному звучанию инструмента. Этот метод синтезирования музыкальных голосов получил название FM-синтеза. Изобрел его Джон Чоунинг, выпускник Стэнфордского университета. После чего все права на использование этого метода были переданы корпорации Yamaha.

Обычно, если модулируемая частота несущего генератора относительно низка, то небольшие ее изменения (то, что музыканты называют vibrato) не дают никаких искажений. Однако если частота увеличивается до определенного уровня, периодические изменения частоты уже не слышны, зато слышны явные искажения волны. При FM-синтезе спектр может изменяться во времени при помощи двух параметров, но звук реального инструмента изменяется совсем не так.

Фиксированные значения – важные свойства большого количества естественных звуков (тембров), которые очень трудно моделировать FM-синтезом. Фиксированные значения – это пики энергии в определенных абсолютных точках спектра для каждого индивидуального тембра. Эти пики энергии не зависят от фундаментальной частоты тембра (например, имеется пик энергии в 1100 кГц, неважно, нота ре или ми). При простом двухгенераторном FM-синтезе пики в спектре двигаются в зависимости от индекса модуляции и главной частоты (что не является истинным тембром). Чтобы аппроксимировать фиксированные значения, могут использоваться два несущих генератора вместо одного. Однако это только приближение, а не точное воспроизведение настоящего звука. Звуки ударных инструментов особенно трудны для моделирования, спектр частоты этих звуков очень богат и состоит из комплекса волн, поэтому его синтез очень проблематичен.

FM-синтезаторы OPL2 и OPL3

Так как встроенный на звуковой плате синтезатор является самым дешевым и доступным устройством, воспроизводящим MIDI последовательности, то характеристики звуковой платы, а особенно встроенного синтезатора, приобретают важное значение. В случае, если звуковая плата использует FM-синтезатор, необходимо знать, аналог какой микросхемы применен в звуковой плате: OPL2 или OPL3.

OPL2 – это синтезатор, разработанный достаточно давно. Данный синтезатор использует два программируемых генератора для создания одного голоса инструмента. Такая технология дает малореалистичные голоса инструментов, отличающиеся «электронным» звучанием.

OPL3 – это усовершенствованный синтезатор, позволяющий генерировать более реалистичные голоса. В этом синтезаторе используется три генератора, что позволяет получать более совершенную звуковую волну.

JPEG-сжатие

Стандарт JPEG (Joint Photographic Experts Group) – это стандарт сжатия растровых изображений, основанный на принципе восприятия цвета человеком. Исследования показали, что человек легче воспринимает цветовые плоскости и контрастные границы между ними и труднее различает тонкие светотеневые эффекты и незначительные изменения цветовых оттенков. В связи с этим алгоритм JPEG-сжатия предполагает сжатие информации путем сокращения оттенков цветов, используемых в изображении.

JPEG-сжатие происходит следующим образом: предварительно переведенное в цветовую систему HSB изображение делится на квадраты 8x8 пикселей, далее рассматривается средняя освещенность каждого такого квадрата, которая вычисляется прямым преобразованием по функции косинус. Далее более высокие, не воспринимаемые глазом цветовые оттенки отбрасываются, а градиентные и плавные цветовые переходы заменяются на более однородные. После чего формируется новое изображение, содержащее уже существенно меньше информации.

Как видно из алгоритма, JPEG – это формат сжатия изображений с потерей качества (loss compression), так как те данные, которые были отброшены или преобразованы, не восстанавливаются заново при декомпрессии изображений. Качество сжатия немного зависит от самого изображения, но, как известно, на любом изображении уже при соотношениях 20:1 и 25:1 начинает теряться качество. Как правило, во время компрессии пользователь может сам определять коэффициент сжатия, что позволяет достичь необходимого качества изображения при максимально возможном сжатии.

MIDI-файл

Большинство звуковых плат имеют в своем составе MIDI-интерфейс, что позволяет подключать любые электронно-музыкальные инструменты к компьютеру. При этом сам компьютер может использоваться как электронно-музыкальный инструмент или может управлять различными инструментами. В этом случае целесообразно сохранять музыкальные фрагменты при помощи обычных файлов. Формат таких файлов является стандартизированным и называется форматом MIDI-файлов.

Формат MIDI-файлов разработан международной ассоциацией MIDI и определяет порядок записи управляющих команд, определенных для MIDI-интерфейса. Этот формат является достаточно сложным и обычно формируется при записи музыкальных фрагментов специальными программами, позволяющими сочинять музыку.

Стоит заметить, что в MIDI-файле хранится информация, используемая во время обмена при помощи MIDI-интерфейса, следовательно, хранится только управляющая информация, а не информация, описывающая голос инструмента. Это основное отличие MIDI-файла от WAVE-файла, в котором записывается непосредственное звучание. Поскольку MIDI-файл содержит только управляющую информацию, то его размер обычно не превосходит 100 Кбайт, в то время как размер WAVE-файлов может достигать десятков Мбайт.

MIDI-интерфейс

MIDI-интерфейс – это специальный интерфейс, по которому несколько электронно-музыкальных инструментов могут обмениваться командами, позволяющими осуществить совместное воспроизведение музыкального фрагмента.

Данный интерфейс является промышленным стандартом, который поддерживает большинство производителей электронно-музыкальных инструментов во всем мире.

Достоинством данного интерфейса является то, что команды, пересылаемые по кабелю, соединяющему электронно-музыкальные инструменты, содержат только управляющую информацию и не содержат данные, описывающие звучание голоса инструмента, которым воспроизводится мелодия. Команды определяют только номер ноты и номер голоса звучания, а воспроизведение этой ноты полностью берет на себя данный инструмент.

MIDI-каналы и MIDI-треки

MIDI-интерфейс позволяет воспроизводить одновременно звучание нескольких инструментов (например: звук ударных инструментов и аккомпанемент, состоящий из рояля и гитары). Для этого в спецификации MIDI-интерфейса предусмотрено 16 каналов, по каждому из которых можно воспроизводить свой инструмент. Таким образом, используя все каналы, можно получить оркестр из 16 инструментов.

MIDI-интерфейс также определяет такое понятие, как MIDI-трек (дорожка). MIDI-трек обычно содержит сольную партию какого-либо инструмента, что очень удобно при создании и редактировании MIDI-файлов в редакторе. Каждому каналу можно поставить в соответствие несколько треков, т. е. можно создать, к примеру, 10 партий гитары, проиграть их одновременно и тем самым достигнуть насыщенности произведения.

MIDI-клавиатура

Для того чтобы осуществлять ввод нот в компьютер естественным образом, необходимо использовать MIDI-клавиатуру. MIDI-клавиатура – это простейшее MIDI-устройство, которое не имеет встроенного синтезатора звуков. Основное предназначение MIDI-клавиатуры – генерировать MlDI-команды для других MIDI-устройств.

MIDI-клавиатура при нажатии на клавиши генерирует MIDI-команды, которые пересылаются в компьютер. Компьютер, используя встроенный на звуковой плате синтезатор, воспроизводит звучание соответствующей ноты или в целом воспроизводит проигрываемый музыкальный фрагмент.

Такая недорогая конфигурация позволяет в домашней студии заниматься созданием музыкальных произведений, которые в дальнейшем могут быть перенесены на профессиональные музыкальные инструменты и воспроизводиться более естественными голосами, чем голоса инструментов, синтезированных звуковой платой компьютера.

Motion-JPEG сжатие

Стандарт компрессии JPEG (Join Photographic Expert Group) был разработан объединенной группой экспертов по фотографии международной организации стандартов (ISO). Как ясно уже из названия, схема компрессии была разработана для неподвижных изображений. Так как видео, в сущности, есть последовательность неподвижных изображений, то JPEG кодирование может применяться и для компрессии видеоизображений. Иногда этот стандарт называют «динамический» JPEG.

В основе схемы компрессии JPEG лежит дискретное косинусоидальное преобразование. К преимуществам JPEG относится тот факт, что каждый кадр сжимается независимо от остальных и для восстановления исходного изображения не нужно задействовать информацию из соседних кадров. Такое построение сжатых данных позволяет осуществлять произвольный доступ, коммутацию и монтаж видеофрагментов проще, чем при использовании других методов кодирования. Недостатком данного формата является относительно меньшая степень сжатия по сравнению с другими системами. Например, в системе с JPEG может понадобиться 20 Мбит для записи 1 с. видеоизображения «вещательного» качества с разрешением 625 строк, что слишком много для компьютерной обработки.

Mp3

В конце XX в. получили широкое распространение алгоритмы адаптивной компрессии звука. Среди них один из самых популярных – MPEG Layer Ⅲ (или просто mp3). Отличительная особенность этого кодека состоит в том, что в нем используется не только математическая компрессия данных, но и учитываются особенности восприятия звука человеком. Психоакустическая модель учитывает ограниченность воспринимаемого на слух спектра звуковых частот, эффект маскировки громкими звуками тихих. На первом этапе спектр звукового сигнала разбивается на несколько частотных диапазонов. Затем параметры кодирования звука подбираются отдельно для каждого из этих диапазонов. Чем сложнее сигнал в конкретной полосе частот, тем с большей точностью (большим количеством бит) он будет представлен в выходном файле.