[멋쟁이사자처럼 AI스쿨] TIL(23.3.21) XGBoost, LightBGM
portable 이식성이 높다 다른 프로그래밍 언어를 지원하기 적합한 구조로 설계, 여러 언어 지원. 배깅 병렬트리를 여러 개 생성, 오버피팅에 좀 더 덜 취약. 랜덤포레스트, ExtraTree 부스팅 순차적으로 트리를 생성, 오버피팅에 좀 더 취약하며, 개별 트리의 성능이 중요할 때 사용. GBM, XGBoost, LightGBM, CatBoost XGBoost xgboost는 GBT에서 병렬 학습을 지원하여 학습 속도가 빨라진 모델. 기본 GBT에 비해 더 효율적이고, 다양한 종류의 데이터에 대응할 수 있으며 이식성이 높음. 모든 가능한 트리를 나열하여 최적 트리를 찾는 것은 거의 불가능 2차 근사식을 바탕으로 한 손실함수를 토대로 매 iteration마다 하나의 leaf로부터 가지를 늘려나가는 것이..
2023. 3. 21.