최근 스마트폰이나 태블릿PC 등 모바일 기기의 사용량이 증가하고, 또 구글 글래스나 갤럭시 기어와 같은 웨어러블 컴퓨터가 등장하는 시점에서, 고차원의 빅데이터 처리나 Life-long 학습의 중요성이 대두되고 있다. 특히 다양한 센서들을 통해 획득한 멀티모달 데이터의 실시간 처리는 매우 중요하며, 이를 위해서 뇌의 기억 처리 과정을 연구할 필요가 있다. 하지만 인간의 뇌가 접하는 자연적 감각 자극들이 동적이고 멀티모달한 특성을 가졌음에도 불구하고, 대다수 연구들에서는 조건적이고 정적인 실험 자극이 제시되는 다소 통제적인 실험 프로토콜을 사용하고 있다. 이에 본 연구에서는 사실적인 실험 환경 내에서 일화기억과정에 대한 실험을 수행하기 위해, 먼저 서술적 요소가 포함된 동영상을 실험 자극으로 사용하는 기억 과제를 개발하고, 다음으로 행동 요소가 고려되는 경우에 대해서 기억 인출 과정과 뇌영상 데이터 간 상관관계를 분석하였다. 실험 결과에서는 비디오와 같이 멀티모달한 실험 자극을 사용하는 경우에도 기존 연구들과 유사한 결과가 나타나는 것을 발견하였으며, 반응시간과 같은 행동 요소를 통해 기억 과정과 관련된 뇌전도 데이터를 해석하는 것이 유의미함을 확인할 수 있었다.
High-dimensional big data processing and life-long learning have been considered as an important field as mobile device usage is rapidly increasing and further wearable computers are being featured nowadays. Multimodal data piling up from various sensors attached to mobile devices are needed to process in real time and thus memory processing mechanisms of the brain are required to investigate. However, most studies have stressed on delimiting the upper boundaries of this memory by using memorization tasks with conditional experimental paradigms, rather than the performance of everyday tasks. In an effort to study the encoding and retrieval of episodic memory under more naturalistic and ecological conditions, we here demonstrate a memory experiment that employs audio-visual narrative movies as naturalistic stimuli. Electroencephalography measurements were used to analyze neural activations during memory formation. Our results extend the previous results of neurocognitive studies on memory formation via naturalistic stimuli, neural oscillations, and behavioral factor analysis combined.
