Методи та засоби масштабування рухомих та нерухомих зображень

Abstract

Дисертація присвячена вдосконаленню та розробленню методів та засобів масштабування зображень. Використовуючи структурну інформацію, запропоновані модифіковані методи та розроблені моделі дозволяють отримати результуючі зображення суттєво вищої якості із швидкодією, необхідною для виконання масштабування в режимі реального часу. Проведено класифікацію методів масштабування зображень. Створено модифіковані моделі масштабування зображень з використанням інтерполятора на основі адаптивного кодування з динамічними границями. Це дозволяє врахувати структурну інформацію під час процесу масштабування шляхом використання індексу структурної подібності в ролі оптимізаційного критерію. Запропоновано здійснювати «м’яке» порогування результуючого значення піксела. Обґрунтовано доцільність використання ромбоподібного вікна для знаходження коефіцієнтів інтерполятора. Запропоновано моделі використання інтерполятора на основі АКДД в малохвильовій області. З метою підвищення швидкодії та надійності запропонований поділ навчального процесу обчислення коефіцієнтів інтерполятора на два етапи. Якість масштабованих зображень, які містять рухомі сцени та характеризуються високим ступенем стиснення, підвищена на 6-9% для інтерполяторів з оптимізованими ваговими коефіцієнтами відносно індексу структурної подібності, та 6.5-12% при додатковому малохвильовому перетворенні. The thesis is devoted to the development and improvement of methods and tools for video and image up-scaling with the performance level required to perform the upscaling in the real time mode. The known classical and modern methods and existing approaches for the image and video upscaling are analyzed and classified; the advantages and disadvantages of each; based on the analysis of theirs’ algorithms are presented. The low efficiency and quality are identified as a root cause of the poor output quality of the result video and images. To address this challenges the wavelet transform is employed for video and images upscaling by ADRC based trained filters. The principles of the ADRC coding are analyzed. The method, mathematical model and the process of the ADRC based training filters weighting coefficients are analyzed. The basic disadvantages of the MSE metric for the image quality assessment are investigated and presented. The SSIM metric for video and image quality assessment is analyzed. The assessment shows the main advantages of the SSIM index compared to the MSE metric. As a consequence of this analysis the use of SSIM metrics as optimization criterion for calculating the weighting coefficients of the ADRC based trained filters is proposed. The developed method of the video and image upscaling based on the use of structural similarity index to calculate the weighted coefficients of the ADRC based trained filters allows to get a better quality image output in the result video and images with high compression and significant movement of the scene image and provide increasing value of the SSIM metric in 6-9% compared with existing methods. The trained filters are adjusted by use of diamond-shaped interpolation window. It allowed to take into account additional information from the 4 neighbor’s pixels and improve the quality for the resulting image. Additionally, it is proposed to make soft truncation of the result pixel value during the interpolation process and allow pixel overshot limited by 1% from the maximum pixel value which ensured a smooth image in flat regions of the video and images and avoid distortions that could be perceived as the edges and enhanced improperly in the resulting image. The approaches to combine wavelet transform with ADRC based trained filter is proposed and investigated. The interpolation is run over wavelet coefficients of each of the components. The experimental results shown the most reasonable algorithm is to run the interpolation only for low-low subband of the wavelet coefficients – it provides the best balance between performance and computational complexity. The algorithms and software are developed to calculate weight coefficients of the ADRC based trained filter with SSIM metrics as optimization criterion and video and images upscaling using wavelet domain. The weight coefficients calculation process is proposed to be split into the two steps to improve its performance and reliability. It is shown that the proposed model can get high quality scalable images for cases where input images contain moving scenes and are characterized by high compression, 6-9% for upscaling with SSIM usage, and 6.5-12% with additional wavelet transformation. Диссертация посвящена совершенствованию и разработке методов и средств масштабирования изображений, которые, используя структурную информацию, позволяют получить результирующие изображения существенно более высокого качества с быстродействием, необходимым для выполнения масштабирования в режиме реального времени. Проведена классификация методов масштабирования изображения. Создано модифицированные модели масштабирования изображения с использованием интерполятора на основе адаптивного кодирования с динамическими границами, которые позволяют учесть структурную информацию в процессе масштабирования путем использования индекса структурного сходства в роли оптимизационного критерия. Предложено осуществлять «мягкое» округление результирующего значения пиксела. Предложено и обосновано использование ромбовидного окна для нахождения коэффициентов интерполятора. Предложены модели использования интерполятора на основе АКДД в вейвлет области. Для повышения быстродействия и надежности предложено разделение учебного процесса вычисления коэффициентов фильтра на два этапа. Увеличено качество масштабируемых изображений, содержащих подвижные сцены и характеризующихся высокой степенью сжатия, на 6-9% при использовании интерполятора с оптимизированными весовыми коэффициентами относительно индекса структурного сходства, и 6.5-12% при дополнительном использовании вейвлет преобразования.