본 논문은 프레임의 시간에 따른 영상의 변화를 기술해 주는 옵티컬 플로우 벡터 측정을 기반으로, 시각적으로 야기되는 어지럼증(visually induced motion sickness, VIMS)에 영향을 미치는 샷의 전역 움직임을 촬영 기법에 따라 분류하는 알고리즘을 제시하였다. 전역 움직임 분류를 위해 1차 베이지안 분류기를 통해 동영상의 옵티컬 플로우 벡터에 대한 영역 기반 통계적 분석 방법을 적용하여 입력 영상을 샷 단위의 전역 움직임과 지역 움직임으로 분류하고, 이후 전역 움직임으로 판명된 샷들에 대해 기존 특징들과 추가된 특징들을 기반으로 2차 베이지안 분류기를 통한 전역 움직임의 촬영 기법 분류를 수행하였다. 이를 달성하기 위하여 자동화된 알고리즘을 활용한 샷 경계 검출 이후 동영상의 시공간적 특징 추출을 위한 영역별 옵티컬 플로우 벡터의 PCA(Principal Component Analysis)를 통하여 학습을 위한 특징 벡터를 추출하고, 동영상 콘텐츠의 시간적 특징을 효율적으로 서술하기 위한 대표 플로우 벡터를 추출 및 대표 플로우 간의 히스토그램 기반의 특징 추출을 수행하였다. 최종적으로 입력으로 주어진 동영상은 핸드 헬드로 촬영된 기법과 팬/틸트에 의해 발생하는 좌우회전 및 줌 기법으로 촬영된 영상으로 분류하였다. 최종적으로 각 촬영 기법에 대한 전역 움직임과 전역과 지역 움직임이 동시에 일어나는 총 6가지 경우로 분류하여, VIMS 유발 원인 분석 및 실험을 위한 자동화된 전역 움직임 분류를 달성 하였다.
Visually Induced Motion Sickness (VIMS) refers to motion sickness or vertigo when perceiving visual information that could be occurred while watching videos, for example, a video recording with strong motions of a camera. In order to assist such motion analyses, an automatic method analyzing the videos with various shooting techniques is required. Since video analysis requires both spatial features and temporal features, various algorithms for extracting robust spatio-temporal features have been studied in many video classification methods. In this paper, we propose a new method to classify various videos with different shooting techniques based on multi-layer Bayesian classification with spatio-temporal features using optical flow vectors. To classify the shooting techniques recorded with global motions, the first layer of the Bayesian classifier categorizes the videos into the ones with global motions and the others with local motions, based on PCA (Principal Component Analysis) with extracted features in different regions. Then, the second layer of the Bayesian classifier performs further classification on different shooting methods in temporal domain. The second layer is based on histogram analysis on the temporal mean flows. In our experiments we show the results of the categorization from the first classification (global/local motion), and from the second classification (6 kinds of video according to the shooting techniques).
