과적합 문제 해결방안 - 드롭아웃(Dropout)

인공지능 기계학습에서 과적합 문제를 해결할 수 있는 방안은 여러가지가 있는데,

오늘은 첫 번째로 드롭아웃에 대한 개념을 찾아봤습니다.

 

드롭아웃(Dropout)

 

딥러닝 시 오버피팅 문제를 해결하기 위해 노드 중 일부를 제거하는 인공지능 최적 학습기법

 

드롭아웃은 그림을 보면 이해가 좀 더 쉬운데요.

아래 오른쪽 그림처럼, 노드의 일부를 제거하여 학습하는 방법입니다.

 

드롭아웃 개념도

동작방식

 

IT위키에 소개되어 있는 동작 방식은 다음과 같습니다.

 

1. 입력층과 은닉층의 임의 노드 선택 및 제거

  -  확률 p를 기준으로 제거

 

2. 임의 노드 제거 상태에서 학습 수행

 

3. 실제 테스트 시 제거 노드 복원 및 가중치 연산

  -  가중치에 확률 p를 곱하여 결과 보상

 

상세한 내용은 아래 참고 자료 링크를 보시기 바랍니다.

나중에 시간내서 추가 자료 찾으면 계속 업데이트 해보겠습니다.

 

오늘은 간단한 개념 소개로 마무리합니다.

 

참고 자료

 

드롭아웃 - IT위키 (itwiki.kr)

IT위키

 

인공지능 : Drop Out : 개념, 원리, 팁 (tistory.com)

인공지능 : Drop Out : 개념, 원리, 팁