H.264 영상 부호화 표준은 인트라 예측에서 압축 효율을 향상시키기 위해 율-왜곡 최적화(RDO : Rate Distortion Optimization) 방법을 사용한다. 이러한 방법을 사용함으로써 현재 블록에 대한 최적의 부호화 모드의 선택이 가능해졌지만 복잡도와 연산은 이전대비 더욱 증가하였다. 본 논문은 우세한 에지 방향(DED : Dominant Edge Direction)의 예측을 통한 고속인트라 모드 결정 알고리즘을 제안한다. 이를 위해 이 알고리즘은 이산 코사인 변환(DCT : Discrete Cosine Transform) 계수를 근사화하여 이용한다. DED를 예측함으로써 $4{ imes}4$ 휘도 블록의 경우 최적 모드 결정을 위한 율-왜곡 최적화 계산에 9개 모드 중 3개 모드가 선택된다. $16{ imes}16$ 휘도 블록과 $8{ imes}8$ 색상 블록의 경우 4개 모드 대신에 2개 모드가 최적 모드 결정을 위해 율-왜곡 최적화 계산을 수행한다. 이러한 방법을 이용한 실험 결과 인트라 전체 검색 방법대비 약 72%의 연산시간이 감소하는 결과를 보여준다.
The H.264/AVC video coding standard uses rate distortion optimization (RDO) method to improve the compression performance in the intra prediction. The complexity and computational load are increased more than previous standard by using this method, even though this standard selects the best coding mode for the current macroblock. This paper proposes a fast intra mode decision algorithm for H.264/AVC encoder based on dominant edge direction (DED). To apply the idea, this algorithm uses the approximation of discrete cosine transform (DCT) coefficient. By detecting the DED, 3 modes instead of 9 modes are chosen for RDO calculation to decide the best mode in the $4{ imes}4$ luma block. As for the $16{ imes}16$ luma and $8{ imes}8$ chroma block, instead of 4 modes, only 2 modes are searched. Experimental results show that the computation time of the proposed algorithm is decreased to about 72% of the full search method with negligible quality loss.
