인공지능

인공지능이란?

• 사람처럼 학습하고 추론할 수 있는 지능을 가진 컴퓨터 시스템을 만드는 기술
• 기본적으로 인간의 지능을 모방하려는 시도에서 시작됨
• 우리가 하는 다양한 작업들을 컴퓨터가 할 수 있도록 하여, 일상 생활의 효율성을 높이고 있다.

 

강인공지능 vs 약인공지능

• 강인공지능(AGI, Artificial General Intelligence)
  • 인간과 유사한 수준의 지능을 가진 컴퓨터 시스템
  • 다양한 문제를 스스로 해결할 수 있으며, 스스로 학습하고 추론할 수 있는 능력을 가진다.
  • 현재는 연구 단계에 있으며, 실현되지는 않았다.
• 약인공지능(ANI, Artificial Narrow Intelligence)
  • 특정 문제를 해결하는 데 특화된 AI. 현재 우리가 사용하는 대부분의 AI 시스템은 이 범주에 속한다.
  • 예를 들어, 음성 인식, 이미지 분류, 자율주행차 등은 모두 약인공지능에 해당한다.

 

머신러닝(Machine Learning)

 

자동으로 데이터에서 규칙을 학습하는 알고리즘을 연구하는 분야

머신러닝은 통계학에서 유래하였지만, 최근에는 경험을 바탕으로 발전하는 경향이 있다.

• 데이터에서 패턴을 인식하여 예측하거나 결정을 내린다.
• 훈련 데이터를 통해 모델을 학습시킨 후, 새로운 데이터에 대해 예측을 할 수 있다.

사이킷런(Scikit-learn): 사이킷런은 파이썬을 기반으로 한 머신러닝 라이브러리, 데이터 전처리, 모델 학습, 평가, 예측 기능 제공

 

딥러닝(Deep Learning)

딥러닝은 머신러닝 알고리즘 중에서 인공 신경망(Artificial Neural Networks)을 기반으로 하는 방법을 통칭한다.

딥러닝은 복잡한 알고리즘을 훈련할 수 있는 능력을 가지고 있으며, 풍부한 데이터와 컴퓨터 성능의 향상, 그리고 알고리즘의 발전에 따라 최근 급격히 발전하고 있다.

• 다층 신경망을 활용하여 더욱 복잡한 문제를 해결할 수 있다.
• 대규모 데이터와 GPU를 활용한 연산 성능이 필요하다.
• 이미지 처리, 음성 인식, 자연어 처리 등에서 강력한 성능을 발휘한다.

딥러닝 라이브러리

• 텐서플로(TensorFlow): 구글에서 개발한 딥러닝 프레임워크
• 파이토치(PyTorch): 페이스북에서 개발한 딥러닝 라이브러리

 

지도학습과 비지도학습

 

지도학습

정답(타깃)이 주어진 데이터를 사용하여 모델을 학습하는 방법

데이터에 해당하는 특성(feature)과 정답(target)을 함께 제공하여, 모델이 주어진 입력에 대해 올바른 출력을 예측하도록 훈련시킨다.

• 훈련 데이터(Training Data): 입력값과 해당하는 정답이 포함된 데이터셋
• 타깃(Target): 예측하려는 목표 값. 예를 들어, 집 가격을 예측할 때, 각 집의 실제 가격이 타깃 값이다.
• 목표: 알고리즘이 주어진 입력값에 대해 예측하는 규칙을 학습하여, 새로운 데이터에 대해 정확한 예측을 할 수 있도록 만드는 것이다.
• 종류
  
  • 회귀 문제(Regression): 예측하려는 값이 연속적인 값일 때. 예) 집 가격 예측
  • 분류 문제(Classification): 예측하려는 값이 정해진 범주에 속할 때. 예) 이메일이 스팸인지 아닌지 구분하기

 

비지도학습

데이터에 대한 정답 없이, 데이터의 패턴이나 구조를 파악하는 학습 방법이다.

입력 데이터만 주어지고, 알고리즘은 데이터를 분석하여 숨겨진 구조를 찾아낸다.

• 목표: 데이터 내에서 유사한 특성을 가진 그룹을 발견하거나, 데이터 간의 상관 관계를 파악하는 것이다.
• 종류
  • 군집화(Clustering): 데이터들을 비슷한 특성을 가진 그룹으로 나누는 문제. 예) 고객 세분화, 상품 군집화
  • 차원 축소(Dimensionality Reduction): 데이터의 특성을 압축하여 더 적은 수의 변수로 표현하는 문제. 예) PCA(주성분 분석)

 

강화학습

상호작용을 통해 최적의 행동을 학습하는 방법

에이전트가 주어진 환경에서 행동을 취하고, 그에 대한 보상, 벌점을 통해 학습한다.

목표는 최적의 전략을 찾아서 장기적인 보상을 극대화하는 것이다.

• 상황(State): 현재 상태를 나타내는 정보
• 행동(Action): 에이전트가 선택할 수 있는 행동
• 보상(Reward): 행동에 대한 결과로 주어지는 피드백
• 게임: 바둑, 체스, 알파고와 같은 게임에서 최적의 전략을 찾는 문제

 

훈련세트(Training Set)와 테스트세트(Test Set)

• 훈련세트: 모델 학습 위해 사용하는 데이터. 이 데이터에서 알고리즘은 규칙을 찾아내고, 예측 모델을 생성한다.
• 테스트세트: 훈련된 모델의 성능을 평가하는 데 사용하는 데이터. 테스트세트는 모델 학습에 사용되지 않으며, 새로운 데이터에 대해 모델이 얼마나 잘 예측하는지를 측정하는 데 사용된다.

 

샘플(Sample)과 샘플링 편향(Sampling Bias)

• 샘플: 하나의 데이터를 샘플이라고 한다. 훈련 세트나 테스트 세트에서 하나하나의 데이터가 샘플이다.
• 샘플링 편향: 훈련세트와 테스트세트를 나눌 때, 데이터가 고르게 섞이지 않으면 샘플링 편향이 발생할 수 있다.
  • ex) 클래스나 특성이 과도하게 포함되거나 부족한 경우, 모델이 일반화되지 않거나 특정 데이터에 과도하게 최적화될 수 있다.

 

훈련세트와 테스트세트가 잘못 만들어졌을 때의 문제

훈련세트와 테스트세트가 잘못 만들어지면, 모델이 전체 데이터를 대표하지 않게 된다.

이는 과대적합 이나 과소적합 문제를 일으킬 수 있으며, 실제 데이터를 처리할 때 성능이 떨어지게 된다.

• 과대적합
  • 훈련 데이터에 너무 맞춰진 모델로, 새로운 데이터에 대한 예측 성능이 떨어진다.
  • 즉, 훈련 데이터에는 매우 잘 맞지만, 실제 데이터에는 잘 일반화되지 않는 모델이 된다.
• 과소적합
  • 모델이 훈련 데이터에서조차 제대로 학습하지 못하는 상태이다.
  • 모델이 너무 단순하여 데이터의 패턴을 잡아내지 못하는 경우이다.
• 방지를 위해서
  • 훈련세트와 테스트세트를 무작위로 분리해야 한다.
  • 교차검증을 사용하여 모델을 여러 번 평가하여 일반화 성능을 높이는 방법이 있다.

 

결론

• 지도학습은 주어진 데이터와 정답을 바탕으로 학습하는 방식으로, 분류와 회귀 문제에 사용된다.
• 비지도학습은 정답 없이 데이터 내에서 숨겨진 구조나 패턴을 찾는 방법으로, 군집화와 차원 축소 등에 활용된다.
• 강화학습은 에이전트가 환경과 상호작용하며 최적의 전략을 학습하는 방식으로, 게임이나 로봇 제어 등에 사용된다
• 훈련세트와 테스트세트는 모델을 훈련하고 평가하는 데 중요한 역할을 하며, 데이터를 잘 분리하고 고르게 섞는 것이 중요하다.

 

 

사이킷런으로 훈련세트와 테스트세트 나누기

• train_test_split은 사이킷런에서 제공하는 함수로, 주어진 데이터를 훈련세트와 테스트세트로 나누는 데 사용된다.
• 보통 데이터를 훈련과 테스트 세트로 나누어 모델의 일반화 성능을 평가한다.

 

train_test_split 

from sklearn.model_selection import train_test_split

# 예시 데이터 (특성 X와 타겟 y)
X = # 특성 데이터
y = # 타겟 데이터

# 훈련세트와 테스트세트 나누기
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

• test_size: 테스트 세트의 비율. 0.2는 전체 데이터의 20%를 테스트 세트로 분리한다는 뜻
• random_state: 데이터 분할의 랜덤 시드를 고정시켜, 동일한 데이터 분할을 반복적으로 사용할 수 있다.

 

데이터 전처리: 특성의 스케일 맞추기

모델이 제대로 학습하려면, 데이터의 스케일을 맞추는 것이 중요하다.

특히 거리 기반 알고리즘(예: K-최근접 이웃, SVM 등)에서는 특성 간의 단위 차이가 결과에 큰 영향을 미칠 수 있다.

 

표준화(Standardization)

• 표준화는 각 특성(feature)의 평균(mean)을 0, 표준편차(std)를 1로 변환하는 방법이다. 이렇게 하면 데이터가 동일한 스케일로 맞춰져, 모델이 더 효과적으로 학습할 수 있다.

훈련세트와 테스트세트의 변환

• 중요한 점은 훈련세트에서 계산한 평균과 표준편차를 테스트세트에 적용해야 한다는 점이다.
• 테스트 세트는 훈련 과정에서 모델에게 노출되면 안 되는 데이터이다. 훈련 세트에서 평균과 표준편차를 계산하고 이를 테스트 세트에 적용함으로써, 모델이 실제로 보지 못한 데이터에 대해 예측을 잘 할 수 있는지 평가한다.

훈련세트와 테스트세트에 대한 표준화 적용

• 사이킷런에서는 StandardScaler를 사용하여 데이터를 표준화할 수 있다.

 

1. 훈련세트와 테스트세트 나누기

from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler

# 예시 데이터 (특성 X와 타겟 y)
X = # 특성 데이터
y = # 타겟 데이터

# 훈련세트와 테스트세트 나누기
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

2. 훈련세트에 대해 스케일 조정 (표준화)

# StandardScaler 객체 생성
scaler = StandardScaler()

# 훈련세트에 대해서만 fit()을 사용하여 평균과 표준편차 계산
X_train_scaled = scaler.fit_transform(X_train)

• fit(): 훈련 데이터에서 평균과 표준편차를 계산하여, 이를 사용해 데이터를 변환한다.
• transform(): 이미 계산된 평균과 표준편차를 사용하여 데이터를 변환한다.

3. 테스트세트 변환 (훈련세트의 평균과 표준편차 사용)

# 테스트세트는 훈련세트의 평균과 표준편차로 변환
X_test_scaled = scaler.transform(X_test)

• 테스트세트는 fit()을 사용하지 않고 훈련세트에서 이미 계산된 평균과 표준편차를 사용해 변환한다.