베이지안 최적화(Bayesian Optimization)

선별해서 보시기 바랍니다. 자료 수집 중 

AI 도메인은 너무 어렵네요.

---

 

베이지안 최적화

 

베이지안 최적화는 하이퍼파라미터를 최적화하기 위한 방법 중 하나입니다.
이 방법은 미지의 목적함수를 학습하여 이를 전역 최적해로 만드는 파라미터를 찾는 데 사용됩니다.

간단히 말하면,
베이지안 최적화는 확률을 사용하는 전역 최적화 방법으로, Bayes 정리를 활용하여 검색을 지시합니다.
이 방법은 복잡하고 노이즈가 많거나 평가 비용이 많이 드는 목적 함수에 가장 유용합니다.
따라서 베이지안 최적화는 하이퍼파라미터 튜닝이 필요한 다양한 분야에서 활용됩니다.

Bing Coplilot

---

베이지안 최적화는 머신러닝 모델의 하이퍼파라미터 튜닝에 사용되는 방법입니다.

이 최적화 방법은 확률 기반으로 작동하며, 두 가지 주요 구성 요소가 있습니다.

 

1. Surrogate Model (대체 모델):

 

○ Surrogate Model은 실제 모델의 대리자 역할을 합니다.

○  데이터로부터 추정할 수 없는 하이퍼파라미터 값을 대체 모델에 적용하여 모델의 성능을 평가합니다.

○  이렇게 얻어진 데이터를 다시 활용하여 최적의 하이퍼파라미터를 찾아갑니다.

 

2. Acquisition Function (획득 함수)

 

○  Acquisition Function은 어떤 하이퍼파라미터 조합을 선택할지 결정하는 함수입니다.

○  주어진 하이퍼파라미터 조합의 성능을 예측하는 데 사용됩니다.

○  Maximum Expected Improvement (최대 예상 향상도)와 같은 획득 함수를 사용하여

   최적의 하이퍼파라미터를 찾습니다.

 

이렇게 베이지안 최적화는 하이퍼파라미터를 조정하고 모델의 성능을 최적화하는데 유용한 방법입니다.

---

하이퍼파라미터

 

하이퍼파라미터는 머신러닝 모델의 성능과 구성을 결정하는 외부 설정값입니다. 

이 값은 데이터로부터 추정할 수 없으며, 주로 모델의 성능을 돕기 위해 사용됩니다.
하이퍼파라미터는 모델의 학습 과정에서 자동으로 결정되지 않고,
사용자가 사전에 설정하는 값들입니다.

몇 가지 예시를 살펴보겠습니다.


1. 학습률 (Learning Rate): 모델이 가중치를 업데이트하는 속도를 조절합니다.
2. 에포크 수 (훈련 반복 횟수): 데이터를 몇 번 반복해서 학습할지 결정합니다.
3. 가중치 초기화 방법: 모델의 가중치를 초기화하는 방법을 설정합니다.


머신러닝 모델의 성능은 파라미터와 하이퍼파라미터의 조합에 크게 의존하므로,
올바른 값을 찾는 것이 중요합니다.
 
하이퍼파라미터를 조정하는 방법에는 경사 하강법, 정규화 등이 있습니다.
이 외에도 다양한 머신 러닝 모델에 관련된 파라미터와 하이퍼파라미터가 있으며,
이들을 적절히 설정하여 모델의 성능을 최적화할 수 있습니다.

---

 

베이즈 정리

 

 

베이즈 정리는 두 확률 변수의 사전 확률과 사후 확률 사이의 관계를 나타내는 정리로

사전 확률로부터 사후 확률을 구할 수 있는 방법을 제시한다.

 

  P(A) - 사전 확률: 결과가 나타나기 이전에 정해져 있는 사건 A의 확률(원인)

  P(B|A) - 우도 확률: 사건 A가 발생했다는 전제 하에 사건 B가 발생할 확률

  P(A|B) - 사후 확률: 사건 B가 발생했다는 전제 하에 사건 A가 발생했을 확률

 

결국 베이즈 정리는 조건부 확률(사후 확률)을 구하기 위한 정리로

이미 발생한 사건의 확률을 이용해 앞으로 발생하게 될 사건의 가능성을 구할 수 있다.

---

참고 자료

 

베이지안 최적화 기초 개념 그림 : 네이버 블로그 (naver.com)

베이지안 최적화 기초 개념 그림

 

[Machine Learning] 베이지안 최적화(Bayesian Optimization) - SW Developer (wonyong-jang.github.io)

[Machine Learning] 베이지안 최적화(Bayesian Optimization) - SW Developer

 

Bing Coplilot

 

베이즈 정리 - 위키백과, 우리 모두의 백과사전 (wikipedia.org)

베이즈 정리 - 위키백과, 우리 모두의 백과사전

 

[확률과 통계] 베이즈 정리 (tistory.com)

[확률과 통계] 베이즈 정리