ANN 분석에는 종종 현재 자료에만 최적화된 모형으로 학습이 완료되어 학습 오차(training error)는 매우 작은데 시험 집합(test set)에 대한 오차는 상대적으로 크게 추정되는 “과적합(over-fitting)” 문제가 발생한다. 과적합이 발생했을 경우 노드나 레이어(layer)의 수를 줄이는 것이 도움이 된다. NARX 신경망을 사용하여 추정을 수행할 경우, 학습과 검증(validation), 시험 집합 모두 열린 고리(open loop)로 추정하는 것이 예측의 정확도 차원에서 더 바람직하다. 만약 한 시점 예측(one-step-ahead prediction)이라면 열린 고리로 예측까지 수행할 수 있다. 그러나 다 시점 예측(multi step-ahead prediction)은 예측된 값을 다음 시점의 예측을 위하여 사용해야하기 때문에 닫힌 고리(closed loop) 모형을 적용해야 한다. 이 경우, 학습과 검증, 시험은 열린 고리 모형으로 진행하고, 예측을 진행할 때만 닫힌 고리 모형을 사용하는 것이 예측력 향상에 도움이 된다. 본 연구에서 구성한 닫힌 고리 NARX 신경망 모형의 도해는 같다.
무엇에 대해 파악할 때 시험 집합 오차가 크게 나타나는 과적합 문제가 일어날 수 있을까
ANN