У ПОШУКАХ ТОЧКИ ОПОРИ
Однією з тенденцій ринку охоронного телебачення є різноманіття присутніх на ньому видекодеков. Чи не кожен розробник програмно-апаратних засобів CCTV прагне розробити свої унікальні алгоритми стиснення відео і проголосити їх перевагу над іншими. Так як заяви розробника можуть не завжди відповідати дійсності, то споживач потребує незалежної експертної оцінки якості відеокодеків. Проведення експертної оцінки зазвичай виконують відомі лабораторії, наукові співтовариства на основі двох основних методів: суб’єктивне тестування і використання об’єктивних показників якості.
При суб’єктивному тестуванні групі експертів висуваються фрагменти відео, стислі різними кодеками, і вони виставляють якості цих фрагментів оцінки за певною шкалою. Далі експертні оцінки обробляються тим або іншим чином, і виходить інтегрований показник якості, наприклад MOS (mean opinion score).
Перевагою даного способу є простота інтерпретацій отриманих оцінок, так як вони безпосередньо пов’язані з людським сприйняттям. Суттєвими недоліками є залежність результатів від досвіду експертів, а також принципова невідтворюваність результатів. Останній недолік означає також і те, що результати тестування, проведені в двох фірмах-конкурентах, будуть діаметрально противовоположными. Тому питання про достовірність суб’єктивних оцінок є відкритим.
Звичайно, споживачеві хотілося б мати більш надійні оцінки якості відеокодеків. При цьому бажано, щоб ці оцінки мали властивістю повторюваності. І тут на сцену виступають об’єктивні метрики якості відео, у випадку яких не тільки інші експерти, але і сам споживач може повторити всі експерименти. Сам процес тестування також дуже технологічний: натиснув на кнопку – отримав результат.
У даній статті будуть розглянуті застосовуються для оцінки якості відео об’єктивні метрики, показано їх переваги і недоліки, що виникають при використанні даних метрик проблеми. Але перш ніж перейти до самих метрик, необхідно сказати кілька слів про особливості людського сприйняття відео, так як ці особливості впливають як на побудову алгоритмів стиснення, так і об’єктивних показників оцінки якості.
ОСОБЛИВОСТІ ЛЮДСЬКОГО ЗОРУ
Знання особливостей людського зору дозволяє будувати об’єктивні показники оцінки якості відео, найбільш близько корелюють з суб’єктивними оцінками.
До найбільш важливим властивостям людського зору віднесемо наступні.
Чутливість до зміни яскравості зображення. Зір людини здатне адаптуватися до широкого діапазону яркостей, і в кожному діапазоні людина здатна розрізнити певні рівні яркостей. Ця роздільна здатність залежить не від різниці рівнів яскравості, а від відношення цієї різниці до середнього значення яскравості, тобто від контрасту.
Частотна чутливість людського зору проявляється в тому, що людина набагато більш сприйнятливий до низькочастотного, ніж до високочастотного шуму. Це пов’язано з нерівномірністю амплітудно-частотної характеристики системи зору людини.
Особливістю колірного сприйняття людини є те, що деякі кольори можуть співіснувати в його сприйнятті (наприклад, червонуватий жовтий відчувається як помаранчевий), а інші – не можуть (протилежні кольори). Саме ця особливість використовується при поданні зображень різними цветоразностными схемами.
Ефект маскування в просторовій області полягає у збільшенні порогу виявлення відеосигналу в присутності іншого сигналу, що володіє аналогічними характеристиками. Тому, адитивний шум набагато помітніше на гладких ділянках зображення, ніж на високочастотних, тобто в останньому випадку спостерігається маскування. Найбільш сильно ефект маскування проявляється, коли обидва сигналу мають однакову орієнтацію та місце розташування.
Ефект маскування у часовій області полягає в тому, що із-за інерційності зору людина не відразу виявляє зміна яскравості сцени видеопоследовательности.
ВИМОГИ ДО ОБ’ЄКТИВНИХ МЕТРИК ЯКОСТІ ВІДЕО
Можна висунути кілька вимог до метрик. В роботі [1] наведено такі вимоги:
1. Релевантність метрики: «кращим» суб’єктивно видеофрагментам повинно відповідати «найкращі» значення метрики. Цю характеристику можна виміряти кількісно, наприклад, з допомогою коефіцієнта кореляції Пірсона або оцінити графічно, як це показано на рис
2. Монотонність метрики: в ідеальному випадку різниця між двома об’єктивними оцінками відеофрагментів повинна мати той же знак, що і різниця між двома суб’єктивними оцінками цього матеріалу. Оцінюється ранговим коефіцієнтом кореляції Спирмана.
3. Узгодженість метрики: «відхилення» її значень від пророкувань на основі суб’єктивних значень метрик не повинно бути великим. Обчислюється наступним чином. Спочатку виконується ряд суб’єктивних оцінок фільму. Результати статистично обробляються, і знаходиться СКВ оцінок. Потім обчислюються значення об’єктивних показників, та їх кількість, які відстоять від суб’єктивних оцінок на відстані більш ніж подвоєне значення СКВ.
ОБ’ЄКТИВНІ ПОКАЗНИКИ ЯКОСТІ ЗОБРАЖЕНЬ
У дисертації [2] розглянуто шість класів метрик якості зображень:
1. Піксельні метрики
До піксельною метрик відносяться, по-перше, різні варіації метрики Мінковського, наприклад, пікове відношення сигнал/шум, яке вводиться як логарифм відношення максимально можливої енергії сигналу до квадрату середньоквадратичної помилки (СКП).
До цієї метриці справедливо пред’являються претензії щодо її невідповідності трьом вищенаведеним вимогам. Незважаючи на це, вона широко використовується, але не всі знають, що її застосування є один нюанс: спочатку необхідно обчислити СКО по окремим областям (колірними каналами, різних кадрів відео і т. д.), а потім вже брати логарифм від середнього значення СКВ.
Інша можлива піксельна метрика – максимальна різниця між пікселями. Тут рекомендується обчислювати кілька значень максимальної різниці і знаходити їх середньоквадратичне значення.
Розглянуті вище показники мають обмеження, що при їх застосуванні порівнюються тільки зображення цілком. Може виявитися корисним проводити порівняння зображень, представлених при різних масштабах. Відомо, що система людського зору спочатку оцінює низькочастотну копію зображення, а потім вже заглиблюється в деталі. Таким чином, різницю між зображеннями, взятими з грубим роздільною здатністю, можна надати великі ваги, а різниці високочастотних деталей – малі ваги. Така метрика знаходить застосування в системах машинного зору.
2. Кореляційні метрики
Кореляційні заходи взаємопов’язані з заходами відстані: якщо два ідентичні зображення, коефіцієнт кореляції дорівнює 1, якщо квадрат помилки дорівнює енергії зображення (наприклад, значення пікселів іншого зображення дорівнюють нулю), то кореляційна захід буде дорівнює нулю.
Кореляцію можна обчислювати як між пікселями зображень, так і між утвореними ними векторами (наприклад, кореляція кутів між векторами).
3. Контурні метрики
У багатьох роботах показано, що контури є найбільш інформативною частиною зображення. Саме контури виділяє в першу чергу система людського зору, аналіз контурів використовується в машинному зір. Отже, якість контурів говорить про якість зображення. Приклади деградації контурів включають в себе розрив ліній, розмиття ліній, зміщення ліній, помилкові контури і т. д.
Для того щоб виконати порівняння зображень на основі контурів необхідно якимось чином виділити контури на вихідному зображенні (оконтурити його), потім тим же методом виділити контури на відновленому зображенні і порівняти їх (наприклад, обчислити кореляцію).
4. Метрики в спектральній області
Після обчислення перетворення Фур’є зображення є можливість порівнювати амплітуду і фазу отриманого спектра. Відомі пропозиції щодо побудови на цій основі метрик оцінки якості зображень.
5. Контекстні метрики
В контекстних метриках використовується наявність кореляційних зв’язків між сусідніми пікселями зображення та їх ослаблення в спотвореному зображенні.
Для отримання метрики необхідно вміти обчислювати багатовимірну функцію розподілу ймовірності значень пікселів з деякою околиці і навчитися вміти визначати зміну цієї функції.
Іншим підходом до локальної оцінки спотворення зображення є обчислення і порівняння вихідного і спотвореного зображень локальних гістограм, наприклад, для блоків розміром 16 х 16. Порівняння може бути виконано шляхом застосування, наприклад, рангового кореляційного критерію Спирмана.
6. Метрики, що враховують властивості людського зору
Однією з можливостей побудови показників даного класу є попередня фільтрація зображень смуговими фільтрами, що імітують їх сприйняття людиною.
Іншою можливістю побудови показників, що враховують властивості зору, є виконання вейвлет-перетворення вихідного і спотвореного зображень, в результаті чого зображення будуть представлені на декількох масштабах. Далі для кожної субсмуги вейвлет-області треба вибрати масштабний вага, на який буде множитися та чи інша метрика, обчислена локально для цієї області. Залежно від завдання ці ваги можуть змінюватись. Наприклад, якщо важливий облік високочастотних складових (чіткість ліній і т. д.), то ваги для високочастотних областей можуть бути збільшені.
Метрика може обчислюватися як для всієї субсмуги, так і локально, для її блоків з подальшим усередненням тим або іншим чином.
В роботі [2] було вивчено безліч метрик розглянутих класів та вивчена їх «самостійність». Близьке розміщення метрик на рис. означає їх коррелированность (і надмірність).
ЕКСПЕРИМЕНТИ ПО ОЦІНЦІ ЯКОСТІ ВІДЕОКОДЕКІВ. ПЕРСПЕКТИВНАЯМЕТРИКА
Фахівцями факультету Вмік МГУ розроблено програмне забезпечення і впродовж років проводиться тестування різних відеокодеків як на основі суб’єктивних, так і об’єктивних показників якості. З результатами можна ознайомитися на сайті, присвяченому стиску [3]. Там же можна скачати і відповідне програмне забезпечення.
В процесі експериментів найкращі результати показала нова метрика SSIM (Structural Similarity Image Measure). Як випливає з назви, ця метрика оцінює структурну схожість зображень. Докладний виклад теорії цієї метрики наведено в роботі авторів [4], тут же наведемо загальну схему її обчислення
ЩО ДАЛІ?
Світовим співтовариством робляться значні зусилля по розробці нових, більш ефективних об’єктивних показників оцінок якості відео. Основні напрямки досліджень зосереджені на таких напрямах:
- розробка адекватних моделей людського зору;
- побудова адаптивних моделей людського зору;
- побудова метрик, майже зовсім або повністю не потребують для оцінки якості оригіналу видеопоследовательности.
Провідним спільнотою в даних дослідженнях є Video Quality Experts Group (VQEG), матеріали якої можна отримати через Інтернет, також як і джерела, посилання по тексту статті.
Література
1. Winkler S. Digital Video Quality. Vision models and metrics. Wiley, 2005. 192 p.
2. Avcibas I. Image Quality Statistics and their use in steganalysis and compression. PhD Thesis.Bogazichi Univ., 2001. 113 p.
3. http://www.compression.ru
4. Z. Wang, Bovik A., Sheikh H., Simoncelli E. Image Quality Assessment: From Error Visibility to Structural Similarity // IEEE Trans. On Image Proc., Vol.13, № 4, 2004.
