과적합(Overfitting) 발생 이유

 

멘토링

예전에 한번 언급 드렸던 적이 있는데,
기출 문제 풀이 해설지를 보실 때 최소 2개 이상 보시길 권고 드립니다.

공통된 부분을 찾고, 차별화된 부분을 찾아서
자신만의 3단표를 만드는 연습을 꾸준히 하셔야 합니다. 
그래야 차별화가 됩니다.

 

아래 해설지의 공통된 부분은 뭘까요?

3단표로 만들기 위해 모델과 데이터로 대분류를 만들었다는 것입니다. (매우 중요!!!)

공통된 내용은 뭘까요?

 

데이터 편향, 차원의 저주, 모델 복잡성, 데이터 오류 등입니다.

이런것들이 핵심 키워드 들입니다.

 

대분류에 맞게 핵심 키워드를 2열에 배치하고 3열에 설명해 주는

전형적인 BP 3단표 형태입니다. 

 

정답은 없습니다. 

자신만의 논지를 구조화해서 가독성 높게 표현하시면 됩니다.

 

아래것은 여러 자료 참고해서 제가 한번 정리해 봤습니다.

구분	발생 이유	설명
데이터 측면	실 데이터의 제한적 특성	- 학습 데이터는 실제 데이터의 부분집합이어서 실제 데이터의 모든 특성을 가지고 있지 않음
	데이터 편향	- 학습 데이터는 실제 데이터에서 편향된 부분만 가짐
	데이터 오류	- 학습 데이터에 오류가 포함
	데이터 대표성 부족	- 과거 학습한 데이터가 대표성을 가지지 못함
모델 측면	모델 복잡성	- 너무 복잡한 모델로 인해 발생
	차원의 저주	- 고려하는 변수가 지나치게 많음
	부적합한 알고리즘	- 데이터에 부적합한 알고리즘 사용

 

분류	이유	설명
모델 측면	모델 복잡도	- 너무 복잡한 모델로 노이즈에 민감한 반응
	부적합한 알고리즘	- 데이터에 부적합한 알고리즘
	Trade off	- 편향과 분산의 Trade-off 관계성에서 치우침으로 발생
	차원의 저주	- 고차원으로 인한 복잡도, 데이터의 증가로 비정상 동작
데이터 측면	데이터 부족	- 학습에 필요한 데이터 부족으로 발생
	데이터 전처리 품질	- 너무 많은 노이즈 또는 이상값으로 발생
	데이터 쏠림	- 대표성을 지니지 못한 데이터 표본으로 발생

 

구분	발생 이유	설명
학습 데이터	Feature 부족	- 학습 데이터의 Feature 부족으로 특정 Feature 에 맞추어 데이터 학습되어 과적합 발생
	데이터 편향	- 학습 데이터의 편향으로 모델 학습 시 편향적인 학습으로 과적합 발생
	차원의 저주	- 고려하는 Feature 가 너무 많아서 각 Feature 들이 모델에 미치는 영향이 너무 커서 과적합 발생
모델 학습	모델 복잡성	- 모델이 너무 복잡하여 특정 Feature 에 대하여 과도한 학습 수행하여 과적합 발생

 

참고 자료

 

과적합 발생 원인, 과적합을 해결하기 어려운 이유 (tistory.com)

과적합 발생 원인, 과적합을 해결하기 어려운 이유

 

KPC 해설지

 

126회 이륙 동기회 기출문제 해설지