(127 관리 1-11) 과적합(Overfitting)의 발생 이유와 해결 방안

 

1교시 11번

 

과적합(Overfitting)의 발생이유와 해결방안

 

---

멘토링

이전에 포스팅했던 글에 대한 링크로 우선 대체합니다.
문제에 충실하여,
과적합의 개념, 발생 이유 및 해결 방안을 1.5Page 작성하시면 
고득점이 예상됩니다.

 

과적합의 개념

 

과적합

기계 학습(machine learning)에서 학습 데이터를 과하게 학습(overfitting)하는 것

과적합 문제

학습을 과하게 시켜 학습 데이터에선 최적의 결과를 내지만
새로운 데이터에 대해선 판단력이 부정확해지는 문제

 

2022.10.28 - [정보관리기술사/인공지능] - 과적합(Overfitting)과 과적합 문제의 개념

과적합(Overfitting)과 과적합 문제의 개념

 

과적합의 발생이유

 

구분	발생 이유	설명
데이터 측면	실 데이터의 제한적 특성	- 학습 데이터는 실제 데이터의 부분집합이어서 실제 데이터의 모든 특성을 가지고 있지 않음
	데이터 편향	- 학습 데이터는 실제 데이터에서 편향된 부분만 가짐
	데이터 오류	- 학습 데이터에 오류가 포함
	데이터 대표성 부족	- 과거 학습한 데이터가 대표성을 가지지 못함
모델 측면	모델 복잡성	- 너무 복잡한 모델로 인해 발생
	차원의 저주	- 고려하는 변수가 지나치게 많음
	부적합한 알고리즘	- 데이터에 부적합한 알고리즘 사용

 

2022.11.01 - [정보관리기술사/인공지능] - 과적합(Overfitting) 발생 이유

과적합(Overfitting) 발생 이유

 

과적합 해결방안

 

해결 방안	설명
Drop Out	- 학습 과정에서 신경망의 일부를 사용하지 않는 방법
Regulation	- 복잡한 모델을 좀 더 간단하게 하는 방법으로 가중치 규제
Cross Validation (교차 검증)	- 데이터셋을 Train과 Validation으로 나누어 사용하는 방법 - 주요 기법 : Holdout Cross Validation, K-fold Cross Validation, Leave-p-out Cross Validation
Batch Normalization (배치 정규화)	- 학습 시의 미니 배치를 한 단위로 정규화를 하는 것으로 분포의 평균이 0, 분산이 1이 되도록 정규화 하는 기법

 

2022.10.31 - [정보관리기술사/인공지능] - 오버피팅 해결방안 - "드규교배"

오버피팅 해결방안 - "드규교배"

 

※ 공부하면서 추가 자료 찾게 되면 지속적으로 업데이트 해 놓겠습니다.

※ 행복한 일상 되세요.