(128 관리 3-6) 연합학습의 주요 알고리즘

개인정보 보호를 위한 분산 인공지능(AI, Artificial Intelligence) 학습 모델인
연합학습 (Federated Learning)에 대하여 아래 사항을 설명하시오.

가. 연합학습의 동작 원리
나. 연합학습의 주요 알고리즘
다. 연합학습의 보안 및 프라이버시 보장형 기술

 

저도 블로그 포스팅하면서 공부하는 터라

오늘 제가 암기하고 싶은 내용은

FedSGD 1회 학습, FedAVG K회 학습입니다.

(평균을 내려면 여러번 해야 겠죠... 그냥 제가 암기하는 방법입니다)

 

연합학습 주요 알고리즘

 

연합학습의  주요  알고리즘에는  

FedSGD(Federated  Stochastic  Gradient  Descent),

FedAVG(Federated Averaging) 등이 있으며 다음과 같은 특징이 있다.

 

(그림-3) 연합학습 주요 알고리즘

 

『 FedSGD (Federated Stochastic Gradient Desent) 』

 

각 단말(엣지, 클라이언트)은 

자신이 한번 학습한 파라미터 값(그림-3의 X: 딥러닝 의 Gradient, W 등)을 

중앙서버(클라우드)로 전달하고,

중앙서버는 취합한 모든 클라이언트의 로컬 파라미터 값의 평균을 계산하여

글로벌 파라미터를 업데이트하고 이 결과를 다시 모든 단말로 전달한다.

 

파라미터의 수렴 조건이 만족될 때까지 이 과정을 반복한다.

(이때, 그림-3에서 하이퍼 파라미터 C는 서버에서 글로벌 파라미터를 계산할 때 사용할 단말의 비율이다.

예를 들어, C=1이면 모든 참여 단말을 사 용하고 C=0.5이면 참여 단말의 50%만 사용한다)

 

『 FedAVG (Federated Average) 』

 

각 단말이 일정한 횟수 K만큼 반복적으로 학습을 수행한 후의

파라미터 값을 서버로 전달하는 방식이다.  

 

각 단말에서 batch size 크기로 나눠서 학습하여 minibatch 효과를 줌으로써

글로벌 파라미터가 수렴에 이르는 시간을 단축할 수 있다.

 

이 경우 최종 결과에 크게 영향을 미치는 변수로

하이퍼 파라미터 C, epoch와 batch size이다.

 

즉, 설정된 이들 값에 따라 수렴에 이르는 시간이 오히려 길어질 수도 있다.

 

!!! 3번째 문항과 연결하기 위한 간글
- 연합학습이 가진 프라이버시 및 보안 문제를 해결하기 위해 다양한 알고리즘 연구 진행 중

 

최근 연구에 따르면 앞서 설명한 연합학습 알고리즘만으로는

프라이버시 보호로부터 완전히 자유로울 수는 없다는 사실들이 증명되고 있다.

 

예를 들어,

단말에서 서버로 전달하는 Gradient 값을 통해 특정 속성을 가진 샘플이

어느 batch에 있는지를 확인 할 수 있거나,

GAN을 통해 학습 데이터와 유사한 데이터를 생성할 수 있을 뿐만 아니라,

심지어 원래의 학습 데이터까지도 복원 가능하다는 논문이 발표되었다.

 

연합학습이 가진 이러한 프라이버시 및 보안 문제를 해결하기 위해 

최근 다양한 알 고리즘 연구가 진행되고 있다. 

 

프라이버시 보장형 연합학습(Privacy-Preserving FL), 보안  연합학습(Secure  FL),  

보안  및  프라이버시 보장형 연합학습(Secure  and Privacy-Preserving FL) 등 대표적이다.

 

참고 자료

 

한국전자통신연구원 전자도서관 (etri.re.kr)

한국전자통신연구원 전자도서관

연합학습 기술 동향 및 산업적 시사점

 

상세한 내용은 원본을 참조해 주시기 바랍니다. 

 

행복한 일상 되세요.