로지스틱 회귀

1.  로지스틱 회귀

 

로지스틱 회귀는 이름에서 "회귀"라는 단어가 포함되어 있지만, 실제로는 분류 문제를 해결하는 알고리즘이다.

주로 이진 분류에서 사용되며, 예측 값을 0과 1 사이의 확률로 변환하여 결과를 제공

선형 방정식을 기반으로 하며, 이 값을 시그모이드 함수를 통해 0과 1 사이의 확률 값으로 변환

-> 분류 문제에서 각 클래스에 속할 확률을 계산

 

작동 원리

 

입력 데이터를 바탕으로 선형 방정식을 통해 예측값을 계산

그러나 이 예측값은 확률이 아니므로, 이를 시그모이드 함수에 통과시켜 0과 1 사이의 확률로 변환한다.

• 이진 분류에서 확률값이 0.5보다 크면 양성 클래스, 작으면 음성 클래스로 예측

from sklearn.linear_model import LogisticRegression

# 모델 생성
lr = LogisticRegression()

# 모델 학습
lr.fit(X_train, y_train)

# 예측
y_pred = lr.predict(X_test)

# 확률 예측
y_prob = lr.predict_proba(X_test)  # 각 클래스에 대한 확률을 출력

• predict_proba()는 각 클래스에 대한 확률을 반환
• decision_function()은 각 샘플에 대해 예측값 z를 계산. 이 값을 시그모이드 함수에 통과시켜서 확률을 계산

 

다중 분류에서의 로지스틱 회귀

 

로지스틱 회귀는 이진 분류뿐만 아니라 다중 클래스 분류 문제에도 사용가능

다중 클래스 문제에서는 각 클래스에 대해 선형 방정식을 계산하고, 소프트맥스 함수를 사용하여 각 클래스에 대한 확률을 계산

• 확률의 전체합 = 1

사이킷런에서 다중 분류 문제를 처리하려면 multi_class='multinomial' 옵션을 설정하고, 최적화 방법을 solver='lbfgs'로 지정하면 된다.

from sklearn.linear_model import LogisticRegression

# 다중 분류 문제 처리
lr = LogisticRegression(multi_class='multinomial', solver='lbfgs', max_iter=200)

# 모델 학습
lr.fit(X_train, y_train)

# 예측 확률 출력
y_prob = lr.predict_proba(X_test)  # 각 클래스에 대한 확률을 출력

 

K-최근접 이웃(KNN) 분류기

 

데이터 포인트가 속할 클래스를 결정할 때, 주어진 K개의 이웃을 기준으로 분류하는 알고리즘

새로운 데이터 포인트가 주어졌을 때, 주어진 데이터 포인트에 가장 가까운 K개의 샘플을 찾아 그 중에서 가장 빈도가 높은 클래스(이웃 클래스 비율에 따라 확률을 계산)를 예측

KNN은 계산이 간단하고 직관적이지만, 데이터가 많아질수록 계산 비용이 커지며 성능이 떨어질 수 있다.

 

비교

• KNN
  • 주변 이웃을 기준으로 클래스를 예측
  • 이웃 클래스의 비율을 확률로 계산할 수 있지만, 데이터가 많을수록 계산 비용이 커지고 예측 속도가 느려질 수 있다.
• 로지스틱 회귀
  • 선형 방정식을 기반으로 확률을 계산하며, 학습 후 예측이 빠르고, 대규모 데이터셋에서 효율적