«Цель нашей работы — найти эффективные пути повышения качества видеокодирования современных видеокодеров, и в данной статье речь идет о последнем принятом стандарте сжатия Versatile Video Coding (VVC), разработанном Joint Video Experts Team и рекомендованном Международным союзом электросвязи. В этих стандартах используется так называемая внутрицикловая обработка и фильтрация (in-loop processing and filtering) — фильтрация декодированного изображения в петле обратной связи кодера. Простыми словами, кодер внутри себя включает и декодер. Дело в том, что при видеокодировании используется устранение временной избыточности: кадры похожи друг на друга, и эту схожесть нужно использовать.
Есть разные методы устранения, но наиболее часто используемый — блочная компенсация движения: кадры разбиваются на блоки, и для блоков текущего кадра ведется поиск подобного блока в предыдущем кадре. В итоге следующему кадру передается не блок, а изменение этого блока по сравнению со смещенным блоком предыдущего кадра. Иными словами, идет своеобразное предсказание текущего кадра по тем кадрам, которые уже были переданы. Этот процесс и называется блочной компенсацией движения», – рассказал о работе Александр Дворкович, заведующий кафедрой мультимедийных технологий и телекоммуникаций МФТИ.
«Есть два эффективных способа убрать эти искажения. Первый — ликвидировать уже на приемной стороне, декодируем и после этого улучшаем картинку. Это распространенная постфильтрация. Но большего эффекта можно достичь, если мы прямо на передающей стороне, в самой петле обратной связи восстанавливаем кадр и еще в нем попытаемся убрать искажения, которые там возникают. Это уже фильтрация в петле обратной связи. Она происходит внутри кодера, и в данном случае применяются фильтры разной степени сложности, которые улучшают восстановленное изображение, делают его более гладким. Конечно, все убрать невозможно, но вполне возможно значительно снизить дефекты», – дополнил Александр Дворкович.
«Конечно, это вычислительно сложнее, чем те методы, которые используются, но саму нейронную сеть нет необходимости постоянно обучать. Достаточно заложить основы. Также стоит учитывать, что в современных стандартах методы обработки сами по себе не очень простые, поэтому подключение к процессу нейросети — скорее, вопрос времени. При использовании подходящего аппаратного обеспечения нейросетевая обработка будет выполняться достаточно быстро с лучшими результатами, что мы и продемонстрировали в нашем исследовании. Мы вышли за границы стандарта, но при этом показали, что можем обеспечить большее качество восстановленного видео. Другой вопрос, что нейронных сетей уже очень много и необходимо выбрать подходящий тип и правильно провести обучение. В своей работе мы справились с этой задачей и достигли наглядного улучшения видеоряда», — заключил Александр Дворкович.