비디오 영상에서 자연스럽게 움직이는 객체에 대한 인식방법을 제안한다. 이 객체는 자유자재로 움직이며, 움직임의 방향을 예측하기 어렵고 빠르게 움직인다. 객체의 동작은 그 객체가 고유하게 가지고 있는 움직임의 특성과 객체의 주변상황에 밀접한 관계가 있다. 본 논문은 자연스럽고 동적인 상황에서 객체의 동작을 분석하고 인식하는 방법을 제안한다. 객체의 동작을 인식하기 위해 동작을 구분하고 분석하여 동작의 대표특징을 추출한다. 그리고, 하나의 객체 주위에 다가오는 다른 객체와의 상관관계를 표현한다. 또한, 동작인식을 위한 알고리즘을 제안한다. 즉, 구간별 포아송(Poisson) 넌-제로(Non-zero)확률 분포를 통한 방법과 퍼지와 신경망의 결합에 의한 인식방법을 제안한다. 그리고 제안된 방법들로 구현된 인식결과를 비교 분석하고 평가한다. 우리의 알고리즘은 축구영역에서 시험된다. 우리는 동작인식의 성공뿐 아니라 실패의 경우도 설명하며 미래의 연구할 과제를 제안한다.