Высшая школа киноинженеров / Олег Березин, Евгения Гриненко - Технологии медиавещания ТМ27

Дополнительное профессиональное образование
практикующие инженеры медиаиндустрии ТВ, ProAV, мультимедиа
Объем курса: 192 академических часа

Содержание курса

Медиасистемы и технологии
Поколения технологий ТВ и медиавещания. Аппаратные технологические решения. Программные технологические решения. Технологии, развиваемые в рамках программных решений: сверхвысокая четкость; большой динамический диапазон; высокая частота кадров; искусственный интеллект; Интернет вещей, виртуальное производство на съемочной площадке для ТВ и кино.
Облачные технологические решения. Поиск решений для удаленного и распределенного телевизионного производства. Виртуализация ТВ и медиапроизводства и вещания. Технологические решения виртуального медиапроизводства и вещания. MovieLabs 2030 Vision: 10 принципов эволюции медиатехнологий.
Системы наземного, спутникового и кабельного ТВ вещания. Система ТВ вещания как элемент информационной инфраструктуры, включающей интернет и сети мобильных коммуникаций.
Сигналы и системы.
Обобщенная модель системы связи. Информация. Сообщения. Сигналы. Непрерывные и дискретные сообщения. Непрерывные и дискретные сигналы. Данные. Скорость передачи данных. Кодирование а. Канальное кодирование.
Сигналы и спектры. Передача в первичной полосе частот. Межсимвольные искажения. Глазковая диаграмма. Условие Найквиста. Барьер Найквиста. Приближение к барьеру Найквиста. Преодоление барьера Найквиста. Многопозиционные (многоуровневые) сигналы.
Теорема Шеннона. Квазибезошибочная доставка программ. Оценка уровня эффективности системы связи. Пороговое отношение сигнал/шум. Приближение к границе Шеннона. Барьер Найквиста и граница Шеннона
Передача данных с использованием модуляции. Амплитудная модуляция. Частотная и фазовая модуляция. Балансная и однополосная модуляция. Квадратурная модуляция. Векторные диаграммы (сигнальные созвездия). Многопозиционная квадратурная модуляция.
Преобразование звукового поля в звуковую картину.
Звук как волна. Группы естественных звуков: музыкальные звуки, речевые звуки, шумовые звуки. Частота звуковой волны и высота тона звука. Спектральный состав звуков. Диапазон слышимых тональных звуков. Тембр звука. Амплитуда звуковой волны и громкость звука. Пик-фактор звуковых колебаний разной формы. Уровень звукового давления. Диапазон уровней слышимых звуков. Кривые равной громкости.
Обобщенная схема канала звука медиасистемы как системы связи. Принципы действия микрофона и громкоговорителя. Непрерывные и дискретные сигналы. Аналоговые и цифровые сигналы. Аналого-цифровое преобразование. Цифровое кодирование сигнала звука. Цифро-аналоговое преобразование. Выбор параметров аналого-цифрового преобразования сигнала звука. Скорость цифрового потока звуковых данных. Интерфейс AES/EBU.
Преобразование светового поля объекта в плоское оптическое изображение.
Видимый свет на шкале электромагнитных волн. Длины волн и поддиапазоны цветов видимого света. Глаз как приемник света. Проблемы световых измерений. Световой поток. и белого света. Цветовая температура ов света. Сила света. Яркость светящей поверхности. Освещенность. Количество освещения.
Объектив. Фокусное расстояние. Принципы наводки на резкость. Основные характеристики объектива: фокусное расстояние, угол поля изображения, угол поля зрения, относительное отверстие, диафрагменное число, разрешающая способность, светосила. Освещенность в плоскости изображения, созданного объективом. Глубина резко изображаемого пространства (ГРИП). ГРИП и размеры сенсора камеры. ГРИП как художественный прием. Боке: технологии и художественные эффекты.
Преобразование оптического изображения в видеосигнал (преобразование свет-сигнал).
Сенсор света как элемент технических систем. Требования к сенсору в телевидении. Разложение и развертка телевизионного изображения. Телевизионная система. Видеосигнал. Сигнал синхронизации. Система цветного телевидения. Физические и субъективные характеристики цвета. Три сигнала цветного телевидения. Сенсор как массив накопителей фотонов. Принцип накопления зарядов. Сенсоры на основе ПЗС-технологий. Сенсоры на основе КМОП-технологий. Сравнительный анализ сенсоров на основе ПЗС и КМОП-технологий. Сенсоры для камер цветного ТВ.
Аналого-цифровое преобразование видеосигнала. Скорость цифрового потока видеоданных. Выбор параметров систем аналого-цифрового преобразования видеосигнала. Цифро-аналоговое преобразование. Обобщенная схема канала изображения как системы связи. Структуры дискретизации и форматы цифрового телевизионного изображения. Видеоинтерфейсы.
Преобразование видеосигнала в изображение (преобразование сигнал-свет).
Принципы отображения полного спектра цветов на экране дисплея (пикселы, субпикселы). Цветовой охват. Основные технологии дисплеев. Плазменные дисплеи. Жидкокристаллические дисплеи. Пиксел и субпиксел ЖК дисплея. Управление прозрачностью, адресация и обращение к ЖК субпикселам. Пассивная и активная ЖК матрицы. Технологии ЖК дисплеев: TN, IPS, VA. Светодиодные дисплеи. Технология дисплеев с органическими светодиодами OLED. Технология дисплеев с неорганическими микросветодиодами microLED. Сравнительный анализ дисплеев, изготовленных по разным технологиям.
Базовые технологии контроля и обработки сигналов изображения и звука в медиасистеме.
Создание изображения и звуковой картины объекта съемки требуемого качества как результат работы ТВ системы. Методы оценки качества телевизионного изображения и звука. Шкалы измерения субъективного качества изображения и звука. Параметры ТВ изображения и звука, определяющие качество изображения и звука. Измерительные сигналы. Испытательные таблицы. Контрольные мониторы.
Оценка разрешающей способности видеосистемы по горизонтали и вертикали. Апертурная коррекция. Измерение яркости и контраста ТВ изображения. Градационные характеристики отдельных звеньев и всей телевизионной системы. Динамический диапазон. Гамма-коррекция. Баланс белого. Подавление шумов.
Настройки и регулировки в каналах звука. Искажения сигналов малого и большого уровня в аналоговых и цифровых системах: сравнительный анализ. Установка уровня сигнала в аналоговых и цифровых каналах звука ТВ систем с использованием шкал dBu, dBVU, PPM, dBFS.
Технологии аудиокомпрессии.
Принципы компрессии аудиоданных на основе психоакустической модели слуха (частотная маскировка, постмаскировка, предмаскировка). Система компрессии аудиоданных MP3. Система компрессии аудиоданных MPEG-2 AAC. Система компрессии аудиоданных MPEG-4 AAC. Система компрессии аудиоданных Dolby AC-3. Артефакты и искажения систем компрессии аудиоданных. Сравнительная эффективность систем компрессии аудиоданных.
Технологии видеокомпрессии.
Проявления избыточности растрового представления ТВ изображения. Пространственная и временная избыточность. Внутрикадровое кодирование при компрессии видеоданных. Артефакты внутрикадрового кодирования. Межкадровое кодирование видеоданных. Артефакты межкадрового кодирования. Системы компрессии видеоданных: JPEG, MPEG-2, MPEG-4 часть 2, MPEG-4 часть 10/AVC/H.264, HEVC/H.265. Система компрессии видеоданных JPEG XS.Тенденции развития систем компрессии.
Технологии канального кодирования
Кодирование, исправляющее ошибки, как инструмент проектирования цифровых систем.
Коды с исправлением ошибок: базовые принципы. Исправление ошибок. Блоковые и древовидные коды. Код с повторением. Расстояние по Хэммингу и минимальное расстояние. Декодирование как статистическое решение и метод максимального правдоподобия. Код с одной проверкой на четность. Систематические коды. Линейные коды. Элементы линейной алгебры. Конечные поля. Код Хэмминга: кодирование. Порождающая матрица. Проверочная матрица. Код Хэмминга: декодирование и реализация кодера и декодера.
Циклические коды. Многочлены и поля Галуа. Принципы построения циклических кодов. Циклические коды: кодирование и декодирование. Коды Боуза-Чоудхури-Хоквингема (БЧХ). Коды Рида-Соломона.
Коды с малой плотностью проверок на четность (LDPC). Концепция кодов с малой плотностью проверок. Принципы декодирования. Граф Таннера. Итеративные алгоритмы декодирования кода с малой плотностью проверок на четность.
Параметры кодов, исправляющих ошибки, в системах цифрового ТВ DVB.
Системы цифрового телевизионного вещания
Система цифрового телевизионного вещания как система связи. Подсистема канального кодирования. Проявление ошибок в канале ТВ вещании. Кодирование с целью исправления ошибок канала. Принципы обнаружения и исправления ошибок в цифровом канале связи систем ТВ вещания. Стратегия исправления случайных и пакетных ошибок в системе ТВ вещания. Подсистема модуляции. Стандартные системы наземного, спутникового и кабельного цифрового телевизионного вещания: DVB, ATSC, ISDB.
Цифровая обработка сигналов
Цепи и сигналы; Основы приема и передача информации; Квантование, дискретизация, сенсорная функция; Пространственное и временное разрешение сигналов; Кодирование, декодирование сигналов; Транскодирование сигналов; Линейная модуляция (фазовая, квадратурная); Нелинейная модуляция (частотная, частотная с непрерывной фазой, со сглаживанием, многочастотная); Синхронизация сигналов (фазовая, тактовая); Помехоустойчивость каналов связи
Видеосигналы и видеоинтерфейсы
Типы видеосигналов, типы разверток и представлений сигналов; видеоинтерфейсы SDI, HDMI
Основы оптики
Основы светотехники; Световые величины; Принципы конструирования объективов; Параметры объективов (глубина резкости, светосила, разрешающая способность, диафрагма, стопы и т.д.); Сенсоры, матрицы (full frame, 2/3” и т.д.), затвор, выдержка, чувствительность, разрешение, Bayer, Optical Low-pass filter; Передаточная функция оптико-электронных и электронно-оптических систем EOTF, OETF
Представление цвета в медиапроизводстве
Теория цвета, цветовая температура, точка белого, Color Gamut, Log-кривая, LUTs; Цветовые пространства CMY, RGB, XYZ, YCbCr, P3, ICtCr, ACES; Rec 601, Rec709, Rec2020, DCI-P3, Wide Color Gamut
Динамический диапазон изображения
Теория динамического диапазона изображения; SDR, HDR, HDR10, PQ, HLG
Скорость съемки и воспроизведения
HFR, Slow Motion; артефакты изображения; художественные решения
Звук в медиапроизводстве
Основы звукотехники; Чувствительность, фаза, искажения; Форматы звуковоспроизведения 5.1, ImmAudio; Аудиосигналы PCM, WAVE, BW64, AES3;
Осветительные приборы
Основные оптические параметры, единицы измерений, ANSI, цветовая температура;
Типы и характеристики осветительных приборов LED, Галоген, Ксенон; Типы линз (Френеля и т.д.); Художественное освещение (студии, натура)
Компрессия медиасигналов
Типы компрессии: без потерь, с визуально незаметными потерями, с потерями; Энтропийное кодирование, предиктивное кодирование; Технологии компрессии аудиосигналов MPEG-1, MPEG-2, ACC, MPEG-4, AAC, Dolby AC3; Технологии компрессии видеосигналов (внутрикадровая и межкадровая) MPEG-1, MPEG-2, MPEG-4 (AVC/H.264), H.265/HEVC, JPEG 2000 Lossless, JPEG XS; ИИ в области медиакомпрессии; Параметры компрессии BD-rate, PSNR
Основы IP
Модель OSI, Ethernet, TCP, UDP, Multicast, PIM, IGMP, DNS, mDNS, DNS-SD; Коммутаторы и маршрутизаторы; Топология сетей Network Fabric медиакомплексов; Протоколы RTP, RTCP, PTP; HTTP, REST-запросы, API
Шифрование в медиаиндустрии
Симметричное шифрование, ассиметричное шифрование; Сертификаты x.709; Протоколы TLS, HTTPS, WSS; Аутентификация, фреймворк Oath2.0
Алгоритмы обнаружения и коррекция ошибок
кодирование данных, BER, PER, SNR; FEC, ARQ, SMPTE 2022–7
Медиаконтейнеры
MPEG-TS, MP4, MOV, QT
Форматы хранения и обмена медиаданными
MXF - Material eXchange Format, формат обмена данными и медиаконтейнер для профессионального хранения и обработки видео- и аудиоматериалов
IMF, AFX, DCP - форматы контейнеров для стандартизированной цифровой доставки и хранения готовых аудиовизуальных мастер-файлов
Форматы представления данных
XML, JSON
Технологии передачи и вещания
SRT, RIST, NDI, NDI6, RTSP, WebRTC, RTMP; Технологии вещания с адаптивным битрейтом M-DASH, HLS, CMAF; Стандарты и спецификации SMPTE ST 2022, SMPTE ST 2110, IPMX; DVB, ATSC 3.
Передача аудиоданных в IP-сетях
Протоколы Dante, Livewire, Q-LAN, Ravenna, AES67; Аудиокодеки mp3, AC3, AAC; Перспективные технологии звуковоспроизведения; Форматы файлового хранения и потокового вещания NGA Next Generation Audio. AC-4, MPEG-Н, 7.1.4, 22.2; Управляемое Метаданными Аудио MGA Metadata Guided Audio. Кадр MGA, Аудиосигналы ADM Audio Definition Model, Serial-AD
Обнаружение, регистрация и управление медиаустройсвами
Спецификации API NMOS
Цифровая кинопроекция и дисплеи
DCP, DLP Cinema, LED-киноэкраны
Типы дисплеев, разрешение дисплеев, частота обновления, гамма-коррекция, контрастность, яркость, EDID, отображение HDR и WCG.
Оценка качества медиавещания
Объективные и субъективные параметры качества; Квалиметрия, QoS; Параметры восприятия, QoE
Измерения в медиавещании
Осциллографы, вектороскопы, waveform-мониторы; Анализ пакетов в Wireshark
Субтитры
форматы, стандарты, протоколы
Моделирование данных в медиаиндустрии
Моделирование систем и данных; Термины и определения; Объектно-ориентированное моделирование в современном медиапроизводстве; Язык UML; Эталонная Архитектура JT-NM медиапредприятия.
Практические занятия
Коммутация устройств и медиасистем; Звуковой микшерский пульт; Цифровая кинокамера, баланс белого, сведение камер; Видеомикшер, мультивьюеры; Сетапы вещания в сетях Интернет
Лабораторные работы
Измерения медиасигналов: вектороскопы, осциллографы; Акустические измерения, AЧХ зала, опорный уровень громкости; Конфигурирование сети медиакомплекса, firewall; Конфигурирование PTP, генератор опорной синхронизации; Измерение параметров сети передачи данных (SNR, BER); Анализ медиапакетов RTP; Измерение битрейта потока в зависимости от типа и формата медиасигналов; Компрессия (сравнение кодеков, оценка эффективности, загрузка ЦП, битрейт, инструментальные и субъективные сравнения); Конвертация SDI - 2110 - SDI, SRT + измерения (задержки, джиттер, wander, потери, влияние сети); Испытательные таблицы.