일반적으로 작은 구조의 신경 회로망은 좋은 일반화 성능을 나타내지만 원하는 학습 목표까지 학습하기가 어려운 경향이 있다. 반면에 큰 구조의 신경 회로망은 학습 데이터는 쉽게 배우지만 일반화 성능이 좋지 않은 경향이 있다. 따라서 좋은 일반화 성능을 얻기 위한 일반적인 방법은 학습이 되는 한도 내에서 최소 구조의 신경 회로망 즉 최적 구조 신경 회로망을 찾는 것이다. 본 논문에서는 가중치의 제곱과 뉴런 출력의 분산의 곱으로 정의되는 임팩트 팩터(ImF: Impact Factor)를 이용한 새로운 연결 소거 알고리즘을 제안한다. 그리고 함수 근사화 문제에 적용하여 제안된 방법이 효율적임을 보인다.
In general, small-sized neural networks, even though they show good generalization performance, tend to fail to team the training data within a given error bound, whereas large-sized ones learn the training data easily but yield poor generalization. Therefore, a way of achieving good generalization is to find the smallest network that can learn the data, called the optimal-sized neural network. This paper proposes a new scheme for network pruning with ‘impact factor’ which is defined as a multiplication of the variance of a neuron output and the square of its outgoing weight. Simulation results of function approximation problems show that the proposed method is effective in regression.
