디지털 컨버전스가 진행됨에 여러 모달리티가 혼재된 형태의 데이터가 쏟아져 나오고 있다. 사용자 중심의 검색 및 추천 서비스를 위해서는 이러한 멀티모달 데이터에서의 정보 추출 및 연관성 분석 기법이 필수적이다. 본 논문에서는 다양한 출처에서 생성되는 데이터 간의 연관성 모델링 기법을 제시하고, 온라인상에서 기사와 상품 간의 연관 검색을 사진 정보만으로 실행한 사례를 보인다. 연관성 모델링 기법으로는 LDA(Latent Dirichlet Allocation) 기반의 토픽 모델링 기법을 확장하여 Bi-Source 토픽 모델기법(BSTM)을 제시한다. 자체 구축한 한국어 잡지 기사 사진 및 쇼핑몰 상품의 사진 데이터에 BSTM을 적용하여, 기사와 상품 간 공통의 컨텍스트를 표현하는 토픽을 추출하고 두 출처에서 얻은 사진 간의 연관관계를 토픽 분포의 유사도를 기반으로 계량화할 수 있음을 보인다. 연관검색 성능 평가를 위해 상품 사진 질의에 대해 유사도를 기준으로 선별한 상위 4~6개의 상품의 카테고리를 확인한 결과 50~60% 대의 적중률로 동일 카테고리 상품이 검색되었으며, 기사 사진을 질의로 한 관련 상품 검색 테스트 결과 다양한 잠재적 연관성이 반영된 검색 결과를 얻을 수 있었다.
With the progress of digital convergence, multimodal data is generated in torrents. User-centric retrieval and recommendation services in this environment demand methods for multimodal information retrieval and associative analysis. In this paper, an associativity modeling method is presented for datasets from various sources and results are shown in online article-goods associative search just based on images. The model is named as a Bi-Source Topic Model (BSTM), which is an extension of LDA (latent Dirichlet allocation). An image dataset is constructed with pictures in Korean magazines and an online shopping mall. With BSTM, we can quantify associativities between images from magazine and mall based on the similarity of topic proportions in images. With a testset of goods images for evaluation, it is shown that proposed method results in about 60% success rate based on category information of goods. Given article pictures as queries, various goods are retrieved which contain interesting semantic relations.
