본 논문은 Levenberg-Marquardt 알고리즘에서 Jacobian 행렬의 주부분 행렬을 이용하여 학습속도를 개선하는 방법을 제안한다. Levenberg-Marquardt 학습은 오차함수에 대한 2차 도함수를 계산하기 위해 Hessian 행렬을 사용하는 대신 Jacobian 행렬을 이용한다. 이런 Jacobian 행렬을 가역행렬로 만들기 위해, Levenberg-Marquardt 학습은 ${mu}$값을 증가시키거나 감소시키는 과정을 수행하고 ${mu}$값의 변경에 따른 역행렬의 재계산이 필요하다. 따라서 본 논문에서는 ${mu}$값의 설정을 위해 Jacobian 행렬의 주부분 행렬을 생성하고 주부분 행렬의 고유값 합을 이용하여 ${mu}$값을 설정한다. 이와 같은 방법은 추가적인 역행렬 계산을 하지 않으므로 학습속도를 개선할 수 있다. 제안된 방법은 일반화된 XOR 문제와 필기체 숫자인식 문제를 대상으로 실험하여 학습속도의 향상을 검증하였다.
This paper proposes the way of improving learning speed in Levenberg-Marquardt algorithm using the principal submatrix of Jacobian matrix. The Levenberg-Marquardt learning uses Jacobian matrix for Hessian matrix to get the second derivative of an error function. To make the Jacobian matrix an invertible matrix. the Levenberg-Marquardt learning must increase or decrease ${mu}$ and recalculate the inverse matrix of the Jacobian matrix due to these changes of ${mu}$. Therefore, to have the proper ${mu}$, we create the principal submatrix of Jacobian matrix and set the ${mu}$ as the eigenvalues sum of the principal submatrix. which can make learning speed improve without calculating an additional inverse matrix. We also showed that our method was able to improve learning speed in both a generalized XOR problem and a handwritten digit recognition problem.
