Federated Learning

Federated Learning (Collaborative Learning)

Definition

• 다수의 로컬 클라이언트와 하나의 중앙 서버가 협력하여 데이터가 탈중앙화된 상황에서 글로벌 모델을 학습하는 기술

Background

• 모바일 환경의 어려움
• privacy 에 취약한 Centralized Server System
• High Latency

How to do

• 최신 AI model을 다운받아 각자의 data로 학습시킨 model을 올려 보내 Model 값을 기반으로 Cloud 에서 Globalization을 통해 User들이 다시 이 모델을 주기적으로 다운 받음

Difference with Distributed learning

• 분산학습 : 데이터를 중앙에서 모아 여러 컴퓨팅 리소스로 분산(multiple 서버에 있는 단일 모델을 학습 하는 것이 목표)
• Non-IID, 불균형 데이터 특성 갖지 않음(중앙에서 모아 균등하고, IDD(independent and identically distributed)하게 분산)

Advantages

• 데이터 프라이버시 향상
• 커뮤니케이션 효율성 : 로컬 모델 업데이트 정보만 전송 ⇒ 네트워크 트래픽, 스토리지 비용 감소
• smarter models, lower latency, less power consumption

Reference

https://medium.com/curg/연합-학습-federated-learning-그리고-챌린지-b5c481bd94b7

https://ai.googleblog.com/2017/04/federated-learning-collaborative.html

https://en.wikipedia.org/wiki/Federated_learning

https://zzaebok.github.io/federated_learning/machine_learning/Federated_Learning/

https://www.analyticsvidhya.com/blog/2021/05/federated-learning-a-beginners-guide/

https://sooyongshin.wordpress.com/2020/11/22/federated-learning/

https://engineering-ladder.tistory.com/66