회귀

회귀

KNN 회귀는 가장 가까운 k개의 이웃을 찾아 예측값을 계산하는 방법이다.

하지만 멀리 있는 이웃들이 예측에 영향을 미치면 정확도가 떨어질 수 있다. 이런 문제를 해결하려면 회귀 모델을 사용한다.

• 모델 파라미터는 모델이 학습을 통해 자동으로 조정되는 값
• 하이퍼파라미터는 모델 학습 전에 사용자가 설정하는 값

회귀

회귀는 연속적인 타깃 변수와 설명 변수(특성) 사이의 관계를 모델링하는 기법. 주로 예측 문제에서 사용되며, 선형 회귀는 가장 기본적인 형태로, 두 변수 간의 관계를 직선(또는 고차원에서는 초평면)으로 나타낸다.

 

K-최근접 이웃 회귀 

• 회귀 문제에 KNN 알고리즘을 적용한 것
• 회귀는 연속적인 값을 예측하는 문제로, 분류 문제와 달리 예측하려는 값이 여러 클래스 중 하나가 아니라 실수 값
• ex) 경제 성장률 예측
• K-최근접 이웃 회귀에서 예측하려는 값은 주변 데이터의 평균을 사용한다.
• 즉, 예측하려는 샘플에 대해 가장 가까운 k개의 샘플을 찾고, 그들의 타깃 값의 평균을 예측 값으로 사용
• 원리
  1. 예측하려는 샘플과 가장 가까운 k개의 샘플을 찾는다.
  2. 이 k개의 샘플의 타깃 값(수치)의 평균을 계산
  3. 계산된 평균 값을 예측 값으로 사용
•  KNN 회귀와 KNN 분류의 차이
  • 분류: 예측하려는 값이 특정 클래스 중 하나일 때, 가장 가까운 k개의 클래스 중 가장 많이 나오는 클래스를 선택
  • 회귀: 예측하려는 값이 연속적인 수치일 때, 가장 가까운 k개의 값의 평균을 계산하여 예측
•  K-최근접 이웃 회귀의 평가
  • 회귀 문제에서는 정확도 대신 결정계수(R² score)를 사용하여 모델의 성능을 평가
  • 결정계수는 모델이 예측한 값과 실제 값 사이의 차이를 기반으로 모델 성능을 측정하는 지표
  • R² score가 1에 가까울수록 모델이 잘 예측하고 있음을 의미
•  KNN 회귀를 구현하는 방법 (사이킷런)
• 사이킷런에서 KNN 회귀는 KNeighborsRegressor 클래스를 사용하여 구현할 수 있다.

 

import numpy as np
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.neighbors import KNeighborsRegressor
from sklearn.metrics import mean_squared_error, r2_score

# 예시 데이터 (특성 X, 타깃 y)
X = np.array([[1, 2], [3, 4], [5, 6], [7, 8], [9, 10], [11, 12]])
y = np.array([1, 3, 5, 7, 9, 11])  # 예측하려는 타깃 값

# 훈련세트와 테스트세트 나누기
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 데이터 표준화 (StandardScaler)
scaler = StandardScaler()
X_train_scaled = scaler.fit_transform(X_train)
X_test_scaled = scaler.transform(X_test)

# KNN 회귀 모델 생성 (k=3)
knn = KNeighborsRegressor(n_neighbors=3)

# 모델 훈련
knn.fit(X_train_scaled, y_train)

# 예측
y_pred = knn.predict(X_test_scaled)

# 성능 평가
mse = mean_squared_error(y_test, y_pred)  # 평균 제곱 오차
r2 = r2_score(y_test, y_pred)  # 결정계수

print(f"예측값: {y_pred}")
print(f"평균 제곱 오차(MSE): {mse}")
print(f"결정계수(R²): {r2}")

1. 데이터셋 준비: 예시로 간단한 2차원 특성(X)과 그에 대응하는 타깃 값(y)을 준비
2. 훈련세트와 테스트세트 나누기: train_test_split()을 사용하여 데이터를 훈련세트와 테스트세트로 나눈다.
3. 데이터 표준화: StandardScaler를 사용하여 데이터를 표준화(표준편차)
4. KNN 회귀 모델 훈련: KNeighborsRegressor를 사용하여 회귀 모델을 학습시킴
5. 성능 평가: mean_squared_error()를 사용하여 평균 제곱 오차(MSE)를 계산하고, r2_score()를 사용하여 결정계수(R²)를 평가

과대적합과 과소적합을 고려 -> 따라서 이웃의 수(k)를 적절하게 설정하는 것이 중요

• K값 선택
  • 작은 k값: 데이터의 국지적인 패턴을 반영하므로, 훈련세트에 과적합될 가능성이 높다.
  • 큰 k값: 전체 데이터의 일반적인 패턴을 반영하므로, 과소적합의 위험이 있을 수 있다.
• K-최근접 이웃 회귀(KNN Regression)는 가장 가까운 k개의 샘플의 평균을 사용하여 예측하는 방법
• 과대적합과 과소적합을 방지하기 위해 적절한 k값을 선택하는 것이 중요
• KNeighborsRegressor를 사용하여 간단하게 KNN 회귀를 구현하고, 결정계수(R² score)를 통해 모델의 성능을 평가할 수 있다.

 

단순 선형 회귀 (Simple Linear Regression)

• 목표: 하나의 특성(설명 변수)과 연속적인 타깃(응답 변수) 간의 관계를 모델링
• 모델: 선형 회귀 모델은 y = w1 * x + b와 같은 직선 방정식으로 표현
  • b: y축 절편
  • w1: 특성의 가중치
• 오차(잔차): 훈련 샘플과 회귀 직선 사이의 수직 거리. 오차는 잔차라고도 하며, 오차가 0에 가까울수록 좋은 모델
• 문제: 값이 음수가 나올 수도 있다. → 다항 회귀를 사용

 

다중 회귀 (Multiple Regression)

• 목표: 여러 특성이 있는 경우, 초평면을 사용하여 모델링.
  • y = w1 * x1 + w2 * x2 + ... + wn * xn + b
  • 초평면: 고차원에서는 직선이 아니라 다차원 공간에서 데이터를 분리하는 평면을 의미, n차원에서는 n-1차원의 공간이 초평면
• 일반화: 특성이 하나일 때는 직선, 여러 개일 때는 초평면으로 일반화

 

상관관계 행렬 (Correlation Matrix)

• 상관관계는 두 변수 간의 관계를 나타내며, 피어슨 상관계수를 사용하여 표현
  • 값의 범위는 -1(완전한 음의 상관관계)에서 1(완전한 양의 상관관계) 사이
  • 0은 두 변수 간에 상관관계가 없음을 의미
• 공분산 행렬과 관련: 상관관계 행렬은 공분산 행렬을 스케일 조정한 결과로 볼 수 있다.

 

최소 제곱법 (Ordinary Least Squares, OLS)

• 최소 제곱법은 가장 잘 맞는 직선을 찾는 기준. 훈련 샘플의 수직 거리(잔차)의 제곱합을 최소화하는 선형 회귀 모델 파라미터를 추정한다.
• OLS에서 사용한 손실 함수와 아달린의 손실 함수(평균 제곱 오차)가 동일하다는 점에서 아달린은 OLS 회귀로 해석될 수 있다.

 

회귀 모델에서의 이상치 처리 - RANSAC

• RANSAC (RANdom SAmple Consensus) 알고리즘은 이상치에 민감한 선형 회귀 모델에서 안정적인 모델을 찾기 위한 알고리즘

RANSAC 알고리즘 단계

1. 랜덤하게 샘플을 선택하여 모델 학습
2. 훈련된 모델에서 다른 포인트를 테스트하고, 사용자가 지정한 허용 오차 내에 있는 포인트를 정상치로 추가
3. 정상치들만을 사용하여 모델을 다시 학습
4. 모델을 훈련시키고 정상치 간의 오차를 추정
5. 성능이 지정된 임계값에 도달하거나 반복 횟수가 끝날 때까지 반복

 

선형 회귀 모델 성능 평가

1. 잔차 그래프
   • 잔차(오차)가 예측값에 대해 랜덤하게 분포하는지 확인하는 방법
   • 비선형성이나 이상치를 감지하는 데 도움이 된다.
   • 예측이 완벽하면 잔차는 0이 된다.
   • 이상치는 다른 값들과 크게 차이 나는 값이므로, 잔차 그래프에서 이를 눈으로 식별할 수 있다.
   • 패턴이란, 잔차들이 규칙적이지 않게 흩어져 있지 않고 어떤 형태나 경향성을 보이는 경우를 의미
   • 이상치가 있으면 잔차의 분포가 왜곡되거나, 다른 값들과 큰 차이를 보이므로 잔차 그래프에 패턴이 나타날 수 있다.
2. 평균 제곱 오차 (MSE, Mean Squared Error)
   • 훈련 데이터와 테스트 데이터에서의 오차를 비교하는 정량적인 지표
   • MSE가 낮을수록 모델의 예측이 정확하다는 의미
   • MSE는 샘플 크기 n에 대해 정규화되어 비교가능
   • MSE는 오차를 제곱하여 계산하기 때문에 큰 오차에 더 민감하다. 즉, 큰 오차를 더 강조하는 특성이 있고, 이로 인해 과대적합을 더 쉽게 감지할 수 있다. 예를 들어, 모델이 훈련 데이터에서 너무 세밀한 패턴까지 학습해버린 경우, 훈련 데이터에서 MSE가 매우 작지만 테스트 데이터에서 MSE가 급격히 커지는 현상을 쉽게 파악할 수 있다.
   • RMSE: MSE의 제곱근을 취한 값으로, 오차의 단위가 원래 데이터의 단위와 일치하게 만들어준다. 오차의 크기를 더 직관적으로 이해할 수 있게 해준다.
3. 평균 절대 오차 (MAE, Mean Absolute Error)
   • MSE와 달리 예측 오차의 절댓값을 사용하여 평균을 구함
   • MAE는 오차가 일정하게 분포된 경우 유용하며, MSE보다 이상치에 덜 민감하다.
   • 반면 MAE는 오차의 절댓값을 단순히 평균내는 방식이라 큰 오차에 대한 민감도가 낮다. 따라서 큰 오차가 있을 때 MAE가 MSE보다 덜 민감하게 반응할 수 있다.
4. 결정 계수 (R², R-squared)
   • 모델이 타깃 변수의 분산에서 얼마나 많은 부분을 설명하는지(즉, 데이터에서 얼마나 많은 변동성을 설명하는지)를 설명
   • SSE (Sum of Squared Errors): 제곱 오차항의 합
   • SST (Total Sum of Squares): 전체 제곱합
   • 결정 계수 해석
     • R² = 1: 모델이 데이터를 완벽히 설명
     • R² = 0: 모델이 데이터를 전혀 설명하지 못함
     • R² < 0: 모델이 샘플 평균을 그대로 예측하며, 과소적합된 경우
   • 그렇다면 결정계수만 사용하는것이 유리할까? 아니다. 다음과 같은 경우를 고려해야 한다.
     • 과대적합을 확인하려면: 훈련 데이터셋과 테스트 데이터셋에서 MSE나 MAE를 비교하는 것이 유용하다. MSE를 통해 훈련 데이터에서 MSE가 낮고 테스트 데이터에서 MSE가 크게 증가하는 경우 과대적합을 의심할 수 있다.
     • 비선형 모델에서는: R²는 선형 회귀 모델에서 유용하다. 이 경우에는 MSE나 MAE와 같은 지표가 더 적합할 수 있다.

 

다항 회귀 (Polynomial Regression)

• 목표: 비선형 관계를 모델링하기 위해 직선이 아닌 최적의 곡선을 찾는 방법
• 선형 회귀와의 관계: 비선형 모델이지만, 실제로는 변수의 제곱 항 또는 고차 항을 추가하여 선형 회귀 모델의 확장으로 볼 수 있다. 이때, 변수의 제곱 변환을 포함한 모델도 선형 회귀 모델의 형태로 볼 수 있는데, 왜냐하면 회귀의 가중치(w)가 여전히 선형이기 때문

여기서 "선형"이란, 모델이 가중치(w)에 대해 선형적이라는 뜻.

모델에서 예측값은 각 변수에 대해 가중치를 곱한 후 더한 형태로 나오게 된다.

여기서 x^2은 비선형처럼 보일 수 있지만, 사실 w_1과 w_2는 각각 x와 x^2에 대해 선형적이다.

따라서 가중치가 각 항에 대해 선형적이므로 다항 회귀도 선형 회귀 모델로 볼 수 있다.

• 장점: 직선이 아닌 곡선 형태로 데이터를 잘 모델링할 수 있어, 비선형 관계를 효과적으로 처리할 수 있다.
• 단점: 특성을 많이 추가할수록 모델의 복잡도가 높아지고 과대적합이 발생할 수 있다는 점

 

결정 트리 회귀 (Decision Tree Regression)

• 목표: 데이터를 작은 영역으로 분할하고 각 영역 내에서 예측을 하는 방법
• 장점: 비선형 데이터에서도 좋은 성능을 보이며, 특성 변환 없이도 잘 동작하고, 임의의 특성에서도 잘 작동하고 해석이 직관적
• 단점: 트리가 너무 얕으면 과소적합이 발생하고, 너무 깊으면 과대적합이 발생할 수 있다. 적절한 트리 깊이를 설정하는 것이 중요
• 회귀에서 MSE 기준: 결정 트리 회귀는 MSE를 기준으로 분할을 진행하며, 이를 분산 감소라고 한다.

 

랜덤 포레스트 회귀 (Random Forest Regression)

• 목표: 여러 개의 결정 트리를 앙상블하여 더 강력한 예측 모델을 만드는 방법
• 장점
  • 모델의 분산을 낮추어 과대적합을 방지
  • 이상치에 덜 민감하고, 하이퍼파라미터 튜닝에 대한 민감도가 낮다.
  • 트리 개수를 설정하는 것 외에는 튜닝이 적고, 성능이 매우 안정적
• 단일 결정 트리와의 차이점: 랜덤 포레스트에서는 각 트리가 무작위로 독립적으로 훈련되며, 개별 트리들이 MSE 기준으로 성장. 더 좋은 예측 성능
• 단점: 모델 해석이 어렵고, 메모리 사용량 증가와 훈련 및 예측 속도 감소라는 단점 존재

정리하면

• 선형 회귀는 데이터의 관계를 직선이나 초평면으로 모델링하는 기법이며, 이를 통해 연속적인 타깃 변수를 예측할 수 있다.
• 다중 선형 회귀는 여러 특성(설명 변수)을 활용하여 고차원에서 데이터를 모델링한다.
• 최소 제곱법은 가장 적합한 직선을 찾기 위한 방법으로, 잔차를 최소화
• 이상치에 민감한 선형 회귀에서는 RANSAC 알고리즘을 사용하여 모델을 안정화할 수 있다.
• MSE, MAE, 결정 계수는 회귀 모델의 성능을 평가하는 중요한 지표
• 다항 회귀는 비선형 관계를 모델링하지만, 여전히 선형 회귀의 확장으로 이해할 수 있다.
• 결정 트리 회귀는 데이터를 비선형적으로 잘 모델링할 수 있지만, 과적합에 주의해야 한다.
• 랜덤 포레스트 회귀는 여러 개의 결정 트리를 결합하여 성능을 높이고, 과적합을 줄여주며 이상치에 민감하지 않다는 장점

 

회귀 규제

모델의 과대적합을 방지하고 일반화 성능을 높이기 위해 모델 파라미터에 패널티를 부여하는 기법

이를 통해 모델의 복잡도를 제어하고, 과적합을 방지할 수 있다.

• 릿지 회귀, 라쏘 회귀, 엘라스틱 넷

 

1. 릿지 회귀  - L2 규제

• 개요: 모든 모델 파라미터의 제곱합에 패널티를 추가
• 목적: 모델 파라미터 값이 너무 커지지 않도록 제한하여 과대적합을 방지
• 수식: 손실 함수에 λ * (Σw^2) 형태의 패널티가 추가된다.
• 한계(과대적합)
  • 특성 선택이 어려움: 릿지 회귀는 모든 특성의 가중치를 작게 만들지만 0으로 만들지는 않는다. 즉, 모든 특성이 모델에 포함되므로 중요하지 않은 특성까지 포함될 수 있다.
  • 과적합 방지에 유효하지만, 불필요한 특성을 제거하지 못함: 중요한 특성만을 남기고 나머지를 제외하는 라쏘의 특성과 다르게, 릿지는 모든 특성에 패널티를 부여하고, 특성을 제거하지 않기 때문에 모델의 복잡도를 줄이기 어렵다.

 

2. 라쏘 회귀 - L1 규제

• 개요: 모델 파라미터의 절댓값 합에 패널티를 추가
• 목적: 불필요한 특성을의 변수 가중치를 0으로 만들 수 있어, 희소한 모델을 생성
• 수식: 손실 함수에 λ * Σ|w| 형태의 패널티가 추가된다.
• 특징: 라쏘는 모델을 간소화하고 특성 선택을 가능하게 한다. 그러나, 상관 관계가 큰 변수들이 있을 경우 하나만 선택될 수 있다.
• 한계(과소적합)
  • 상관관계가 큰 변수들 중에서 하나만 선택: 라쏘 회귀는 L1 규제를 사용하여 일부 특성의 가중치를 0으로 만들 수 있다. 하지만 특성들 간에 강한 상관관계가 있을 때, 라쏘는 그 중에서 하나만 선택하는 경향이 있다. 이로 인해 모델이 과소적합될 수 있다.
  • 모든 특성을 제거하려고 할 수 있음: 너무 강한 규제를 사용하면, 과도한 특성 제거로 인해 중요한 정보도 손실될 수 있다. 특히, 중요한 변수들이 0이 되어 모델의 성능이 떨어질 수 있다.

 

3. 엘라스틱 넷 

• 개요: 엘라스틱 넷은 L1과 L2 규제를 결합한 모델
• 목적: 라쏘와 릿지의 장점을 결합하여, 라쏘의 희소성과 릿지의 모델 복잡도 감소통한 일반화 성능을 동시에 처리
• 수식: 손실 함수에 λ1 * Σ|w| + λ2 * Σw^2 형태의 패널티가 추가된다.
• 특성 선택: L1 규제(라쏘) 덕분에 불필요한 특성을 0으로 만들 수 있고, L2 규제(릿지) 덕분에 모든 특성에 일정한 영향을 주어 과적합을 방지한다.