결정 트리 & 앙상블

1. 결정 트리

 

• 데이터를 트리 구조로 분류하는 지도 학습 알고리즘
• 각 노드에서 특정 기준을 바탕으로 데이터를 분할하고, 최종적으로 각 리프 노드에서 예측 값을 결정

 

특징

• 해석이 쉬우며 시각적으로 표현 가능
• 과대적합(overfitting)될 가능성이 있음
• 분할 기준에 따라 성능이 달라질 수 있음

 

사이킷런을 활용한 결정 트리 구현

from sklearn.tree import DecisionTreeClassifier

# 모델 생성 및 학습
dt = DecisionTreeClassifier(max_depth=3, random_state=42)
dt.fit(X_train, y_train)

# 예측
y_pred = dt.predict(X_test)

 

교차 검증과 검증 세트

 

교차 검증 

• 모델을 평가할 때 데이터를 여러 번 학습 및 검증하여 성능을 더욱 신뢰성 있게 측정하는 방법
• K-폴드 교차 검증: 데이터를 K개의 부분으로 나누어, K-1개의 폴드를 학습 데이터로, 나머지 1개의 폴드를 검증 데이터로 사용하여 K번 반복

from sklearn.model_selection import cross_val_score

scores = cross_val_score(dt, X_train, y_train, cv=5)
print("교차 검증 점수:", scores.mean())

 

검증 세트

데이터를 훈련, 검증, 테스트3개로 나누어, 하이퍼파라미터 튜닝 시 검증 세트를 활용하여 최적의 모델을 찾음

from sklearn.model_selection import train_test_split

X_train, X_val, y_train, y_val = train_test_split(X, y, test_size=0.2, random_state=42)

 

2. 앙상블 학습

 

여러 개의 분류기를 하나의 메타 분류기로 연결하여 개별 분류기보다 더 좋은 일반화 성능을 달성하는 기법

종류

• 배깅 (Bagging): 여러 개의 분류기를 독립적으로 학습시켜 다수결 투표로 최종 예측을 결정
• 부스팅 (Boosting): 이전 분류기의 오차를 줄이는 방식으로 순차적으로 학습
• 랜덤 포레스트 (Random Forest): 배깅을 기반으로 한 결정 트리 앙상블 모델

 

배깅

 

• Bootstrap Aggregating의 약자
• 여러 개의 모델을 독립적으로 학습시키고 그 예측을 결합하는 기법
• 결정 트리와 같은 약한 학습기를 사용하며, 각 모델은 데이터를 랜덤하게 샘플링하여 학습

 

랜덤 포레스트

 

여러 개의 결정 트리를 학습시키고, 이를 결합하여 최종 예측을 수행하 모델

from sklearn.ensemble import RandomForestClassifier

# 모델 생성
rf = RandomForestClassifier(n_estimators=100, random_state=42)
rf.fit(X_train, y_train)

# 예측
y_pred = rf.predict(X_test)

 

장점

• 모델의 독립적 학습: 여러 모델을 병렬로 학습시키고, 각 모델은 서로 다른 학습 데이터로 훈련
• Bootstrap Sampling: 학습 데이터를 무작위로 복원 추출하여 각 트리를 학습 -> 개별 결정 트리보다 일반화 성능이 뛰어남
• 다양성 확보: 각 트리에서 특징 선택에 있어서도 일부 특징만 사용하여 과대적합을 방지하는 효과가 있음
• 특성 중요도를 자동으로 계산 가능

 

부스팅 

 

약한 학습기를 순차적으로 학습하여 성능을 향상시키는 방법

에이다부스트 (AdaBoost)

• 간단한 분류기를 조합하여 성능을 개선하는 기법
• 잘못 분류된 샘플에 가중치를 부여하여 학습을 강화

 

그래디언트 부스팅 (Gradient Boosting)

• 이전 트리의 오차를 기반으로 새로운 트리를 학습
• 성능이 뛰어나지만 과대적합 가능성이 있음

 

배깅과 부스팅 비교

 

기법	작동 방식	장점	단점
배깅 (Bagging)	독립적인 모델을 병렬 학습 후 다수결 투표	분산 감소, 과대적합 방지	편향 감소 효과는 적음
부스팅 (Boosting)	이전 모델의 오차를 반영하며 순차적 학습	편향과 분산 모두 줄일 수 있음	과대적합 가능성