파인튜닝 (Fine-tuning)

- 선별해서 보시기 바랍니다. -

핵심 키워드

 

Pre-trained model, 특정 데이터셋 사용한 추가 학습, 전이학습,
Full Fine-tuning, Repurposing, 사전 훈련, 미세 조정, 딥러닝

---

파인튜닝 (Fine-tuning) 개념

 

파인튜닝은 이미 훈련된 대규모 언어 모델에 특정 데이터셋을 사용하여 추가적인 학습을 수행하는 작업

특정 작업이나 도메인에 높은 적합성을 확보하기 위해,
이미 훈련된 대규모 언어 모델에 특정 데이터셋을 사용하여 추가적인 학습을 수행하는 작업

파인 튜닝(fine tuning)은 딥 러닝에서 사전 훈련된 모델의 가중치가
새로운 데이터에 대해 훈련되는 전이학습에 대한 접근 방식

 

- Bing - 

 

파인튜닝은 대개 전이 학습을 통해 수행됩니다.
전이 학습은 이미 훈련된 모델을 새로운 작업에 적용하는 것을 의미합니다.

파인튜닝은 전이 학습의 한 유형으로,
대규모 언어 모델에 특정 데이터셋을 사용하여 추가적인 학습을 수행하는 작업입니다.
파인튜닝은 Full Fine-tuning과 Repurposing 두 가지 방법으로 분류할 수 있습니다.

○ Full Fine-tuning : 모든 모델 매개변수를 포함하여 사전 학습된 모델 전체를 파인튜닝하는 작업

○ Repurposing : 사전 학습된 모델의 하위 레이어를 그대로 유지하면서 모델의 상위 레이어 또는
  선택된 몇 개의 레이어를 파인튜닝하는 것

파인튜닝은 지도 학습과 비지도 학습으로 분류됩니다.
지도 학습은 미세 조정 단계에서 레이블이 지정된 학습 데이터셋을 사용하는 프로세스를 의미합니다.
비지도 학습은 미세 조정 프로세스 중에 레이블이 지정되지 않은 학습 데이터셋을 사용하는 것을 포함합니다. 

이러한 방법은 유용한 기능을 추출하거나 모델의 표현 기능을 향상하는 것을 목표로
데이터의 고유 구조를 활용하거나 데이터를 생성하여 모델을 파인튜닝합니다.

 

Fine Tuning 3가지 방법

 

→ 개인적으로 지도 학습과 비지도 학습 개념을 적용하여 Fine Tuning 방법을 구분한 것으로 이해합니다.

 

 

참고 자료

 

파인 튜닝 - 위키백과, 우리 모두의 백과사전 (wikipedia.org)

파인 튜닝 - 위키백과, 우리 모두의 백과사전

 

파인튜닝 (Fine-tuning): 딥러닝 모델 개선과 성능 향상의 핵심 (tistory.com)

파인튜닝 (Fine-tuning): 딥러닝 모델 개선과 성능 향상의 핵심

 

Pre training & Fine tuning (velog.io)

Pre training & Fine tuning

 

[ 딥러닝 알아가기 ] Transfer Learning과 Fine Tuning — 글쓰는공대생의 IT블로그 (tistory.com)

[ 딥러닝 알아가기 ] Transfer Learning과 Fine Tuning

 

[DL] Transfer Learning vs Fine-tuning, 그리고 Pre-training (tistory.com)

[DL] Transfer Learning vs Fine-tuning, 그리고 Pre-training

 

기출문제

 

(컴시응 131-1-4)

전이학습 (Transfer Learning)

 

전이학습에 대해 설명하시오.

가. 개념 및 구성요소
나. 학습절차 및 파인튜닝 전략
다. 학습 최적화 방안