본 논문에서는 영상에 포함되어 있는 잡음을 효율적으로 제거하기 위해 원본 영상과 잡음이 포함된 영상 사이의 mean square error (MSE) 추정에 기반한 적응적인 시공간 디노이징 필터(Adaptive Temporal and Spatial De-noising Filter : ATSF)를 제안하였다. 제안하는 디노이징 필터는 잡음이 포함되어 있는 영상에 블록 단위로 적용되며, 시간적 필터인 Multi-Hypothesis Motion Compensated Filter (MHMCF)를 사용하고, 공간적 필터로는 bilateral filter를 사용하였다. 각각의 블록에 대해 시간적 필터와 공간적 필터 중에서 최적의 필터를 선택하기 위해서 잡음이 포함되지 않은 원본 영상과 잡음이 포함된 입력 영상 사이의 MSE를 추정하는 기법을 제안하였다. 디노이징 단계에서 원본 영상이 주어지지 않기 때문에 MSE를 추정하기 위해서, 본 논문에서는 MHMCF가 적용된 블록의 MSE를 수학적으로 예측하고, bilateral filter가 적용된 블록의 MSE를 통계적 선형 모델을 통해 예측하였다. 이렇게 예측된 MSE를 비교하여 더 작은 MSE를 갖는 필터를 선택적으로 매 단위 블록마다 적용하게 된다. 제안된 방법은 시간적 필터와 공간적 필터를 적응적으로 적용함으로써 기존의 디노이징 방법에 비해 객관적 화질 뿐만 아니라 주관적인 화질에서 우수한 성능을 보여준다.
In this paper, an adaptive temporal and spatial filter (ATSF) based on mean square error (MSE) estimation is proposed. ATSF is a block based de-noising algorithm. Each noisy block is selectively filtered by a temporal filter or a spatial filter. Multi-hypothesis motion compensated filter (MHMCF) and bilateral filter are chosen as the temporal filter and the spatial filter, respectively. Although there is no original video, we mathematically derivate a formular to estimate the real MSE between a block de-noised by MHMCF and its original block and a linear model is proposed to estimate the real MSE between a block de-noised by bilateral filter and its original block. Finally, each noisy block is processed by the filter with a smaller estimated MSE. Simulation results show that our proposed algorithm achieves substantial improvements in terms of both visual quality and PSNR as compared with the conventional de-noising algorithms.
