본 논문에서는 해마신경망(HCNN:HippoCampal Neural Network)을 이용하여 사용자 친화적인 객체 기반 멀티미디어 검색시스템을 제안한다. 내용 기반 검색(Content-based Retrieval)에 관한 대부분의 기존의 질의 방법은 입력 영상에 의한 질의 또는 컬러(color), 형태(shape), 질감(texture)등과 같은 low-level의 특징을 사용한다. 본 논문에서 제안하는 방법은 MPEG 기반의 압축 비디오 스트림으로부터 장면 전환 검출을 수행하여 샷을 검출한다. 이 샷 프레임에서 컬러 객체의 자동 추출을 위하여 similar colorization과 ACE(Adaptive Circular filter and Edge) 알고리즘을 사용한다. 그리고 이렇게 추출된 특징을 해마 신경망을 통하여 학습한 후 멀티미디어 검색 시스템을 구성한다. 제안하는 해마 신경망은 호감도 조정에 의해서 입력되는 영상패턴의 특징들을 흥분학습과 억제학습을 이용하여 불필요한 특징은 억제시키고 중요한 특징은 흥분학습을 통해 장기기억 시켜서 적응성 있는 실시간 검색 시스템을 구현한다.
Tn this paper, We propose a user friendly object-based multimedia retrieval system using the HCNN(HippoCampus Neural Network. Most existing approaches to content-based retrieval rely on query by example or user based low-level features such as color, shape, texture. In this paper we perform a scene change detection and key frame extraction for the compressed video stream that is video compression standard such as MPEG. We propose a method for automatic color object extraction and ACE(Adaptive Circular filter and Edge) of content-based multimedia retrieval system. And we compose multimedia retrieval system after learned by the HCNN such extracted features. Proposed HCNN makes an adaptive real-time content-based multimedia retrieval system using excitatory teaming method that forwards important features to long-term memories and inhibitory learning method that forwards unimportant features to short-term memories controlled by impression.
