[멋쟁이사자처럼 AI스쿨] TIL(23.4.18) 전이학습

 

 

전이 학습

하나의 문제에서 학습된 기능을 가져와 유사한 새 문제에 활용하는 것으로 구성

일반적으로 데이터 세트의 데이터가 너무 적어 전체 규모 모델을 처음부터 훈련할 수 없는 작업에 대해 수행

ex) 너구리를 식별하는 방법을 학습한 모델의 기능은 타누키를 식별하기 위한 모델을 시작하는 데 유용

 

 

전이 학습의 일반적인 워크플로우

1. 이전에 훈련된 모델에서 계층을 가져옵니다.
2. 향후 훈련 라운드 동안 포함된 정보가 파괴되지 않도록 동결하십시오.
3. 동결된 레이어 위에 학습 가능한 새 레이어를 추가합니다. 그들은 이전 기능을 새로운 데이터 세트에 대한 예측으로 바꾸는 방법을 배웁니다.
4. 데이터 세트에서 새 레이어를 교육합니다.

마지막 선택적 단계는 위에서 얻은 전체 모델(또는 그 일부)을 고정 해제하고 매우 낮은 학습률로 새 데이터에서 재훈련하는 미세 조정 입니다. 이는 사전 훈련된 기능을 새 데이터에 점진적으로 적용하여 잠재적으로 의미 있는 개선을 달성합니다.