[혼공단 10기] 혼자 공부하는 머신러닝 + 딥러닝(혼공머신) - 2주차

혼공단10기 - 혼자 공부하는 머신러닝 + 딥러닝(혼공머신)

3장. 회귀 알고리즘과 모델 규제

 

기본 미션

03-1. K-최근접 이웃 회귀 확인 문제 2번 풀이

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
from sklearn.neighbors import KNeighborsRegressor
from sklearn.model_selection import train_test_split

perch_length = np.array(
    [8.4, 13.7, 15.0, 16.2, 17.4, 18.0, 18.7, 19.0, 19.6, 20.0,
     21.0, 21.0, 21.0, 21.3, 22.0, 22.0, 22.0, 22.0, 22.0, 22.5,
     22.5, 22.7, 23.0, 23.5, 24.0, 24.0, 24.6, 25.0, 25.6, 26.5,
     27.3, 27.5, 27.5, 27.5, 28.0, 28.7, 30.0, 32.8, 34.5, 35.0,
     36.5, 36.0, 37.0, 37.0, 39.0, 39.0, 39.0, 40.0, 40.0, 40.0,
     40.0, 42.0, 43.0, 43.0, 43.5, 44.0]
     )
perch_weight = np.array(
    [5.9, 32.0, 40.0, 51.5, 70.0, 100.0, 78.0, 80.0, 85.0, 85.0,
     110.0, 115.0, 125.0, 130.0, 120.0, 120.0, 130.0, 135.0, 110.0,
     130.0, 150.0, 145.0, 150.0, 170.0, 225.0, 145.0, 188.0, 180.0,
     197.0, 218.0, 300.0, 260.0, 265.0, 250.0, 250.0, 300.0, 320.0,
     514.0, 556.0, 840.0, 685.0, 700.0, 700.0, 690.0, 900.0, 650.0,
     820.0, 850.0, 900.0, 1015.0, 820.0, 1100.0, 1000.0, 1100.0,
     1000.0, 1000.0]
     )

train_input, test_input, train_target, test_target = train_test_split(
    perch_length, perch_weight, random_state=42)

train_input = train_input.reshape(-1, 1)
test_input = test_input.reshape(-1, 1)

knr = KNeighborsRegressor()

x = np.arange(5, 45).reshape(-1, 1)

for n in [1, 5, 10]:
    knr.n_neighbors = n
    knr.fit(train_input, train_target)
    prediction = knr.predict(x)

    plt.scatter(train_input, train_target)
    plt.plot(x, prediction)
    plt.title('n_neighbors = {}'.format(n))
    plt.xlabel('length')
    plt.ylabel('weight')
    plt.show()

▷ n일 클수록 모델이 단순해짐.

▷ n = 1일 경우 예측값이 훈련 데이터 포인트를 모두 지나감 → 불안정한 예측 도출.

▷ n이 클수록 모델이 단순해져 더 안정된 예측 가능

 

 

 

 

선택 미션 

모델 파라미터 설명

 

KNeighborsRegressor

k-최근접 이웃 회귀 알고리즘을 기반으로 하는 지도 학습 모델. 

주어진 데이터 주변의 k개의 최근접 이웃을 사용하여 예측을 수행.

n_neighbors: 이웃의 수를 결정하는 매개변수. 디폴트 =  5. 일반적으로 홀수로 지정.

weights: 예측에 사용되는 이웃들의 가중치를 지정하는 매개변수. 디폴트 = "uniform"
        uniform : 모든 이웃의 가중치가 동일함을 의미.
        distance : 이웃들의 거리에 반비례하여 가중치를 부여. 가까운 이웃일수록 더 큰 가중치

algorithm: 이웃을 계산하는 알고리즘을 선택하는 매개변수. 디폴트 = "auto".
           auto : 자동으로 가장 적합한 알고리즘이 선택 
           ball_tree : BallTree 알고리즘을 사용
           kd_tree :KDTree 알고리즘을 사용
           brute : 무차별 대입을 사용

leaf_size: BallTree 또는 KDTree를 사용하는 경우에 잎(leaf)의 크기를 지정하는 매개변수. 디폴트 = 30
           알고리즘의 성능과 메모리 사용량 사이의 트레이드오프를 조정하는 데 사용. 

p: 거리 측정 방법을 결정하는 매개변수. 디폴트 = 2
   유클리디안 거리 : p=2
   맨하탄 거리 : p=1

metric: 거리 측정 방법을 지정하는 매개변수. 디폴트 = "minkowski", p 매개변수와 함께 사용.
        euclidean, manhattan, chebyshev