Fast API - 모델 서빙

모델 서빙이란?

 

• 학습된 머신러닝 모델(pkl 파일)을 서버에 올려 외부에서 HTTP 요청로 입력값을 보내면 서버가 모델을 이용해 예측 결과를 반환하는 구조를 의미한다.
• 로컬에서 개발한 pkl 파일을 FastAPI 서버가 시작될 때 메모리에 올려두고, API 요청이 올 때마다 predict 함수로 예측을 해주는 것

 

pkl, h5, pt, pb 같은 모델 파일을 "정적 파일"이라고 생각해도 되나?

• 정적 파일은 웹 개발에서 CSS, JS, 이미지, 폰트 등 서버에서 내용이 바뀌지 않고 그대로 제공되는 리소스를 의미한다.
• 머신러닝 모델 파일도 "내용이 바뀌지 않고, 서버가 필요할 때마다 불러와 사용하는 파일"이라는 점에서 넓은 의미로 정적 파일로 볼 수 있다.
• 즉, 모델 파일은 웹 정적 파일과는 목적이 다르지만, "서버가 필요할 때 불러와 사용하는 변하지 않는 리소스"라는 점에서는 일종의 정적 파일로 볼 수 있다.

 

직렬화란?

• 직렬화는 파이썬 객체(예: 학습된 모델, 딕셔너리, 리스트 등)를 파일이나 네트워크로 저장하거나 전송할 수 있도록 이진 데이터로 변환하는 과정
• 반대로, 파일에서 다시 객체로 복원하는 과정을 역직렬화라고 한다.

예시

• scikit-learn 모델을 pickle로 저장할 때: 모델 객체를 이진 데이터로 변환(직렬화)해서 파일로 저장
• FastAPI에서 pickle 파일을 불러올 때:이진 파일을 파이썬 객체로 복원(역직렬화)

왜 필요한가?

• 모델을 매번 재학습하지 않고, 저장해뒀다가 필요할 때 빠르게 불러와서 바로 예측에 사용할 수 있기 때문
• pickle 파일의 역할
  • 학습이 끝난 모델 객체(파이썬 메모리 상의 모델)를 바로 배포하거나 다른 환경에서 쓸 수 없으니
  • 그 모델 객체를 직렬화해서 이진 데이터(파일)로 만든 뒤 이 파일을 다른 곳(서버, 다른 개발자, 배포 환경 등)으로 전달하거나 저장한다.

 

모델 생성 및 저장

 

import pickle
from sklearn.datasets import fetch_california_housing
from sklearn.ensemble import RandomForestRegressor

# 데이터 불러오기
data = fetch_california_housing()
X = data.data
y = data.target

# 모델 학습
model = RandomForestRegressor()
model.fit(X, y)

# 모델 저장
with open("california_model.pkl", "wb") as f:
    pickle.dump(model, f)

• 라이브러리 import
  • pickle: 파이썬 객체를 파일로 저장(직렬화)하고, 나중에 다시 불러올 때(역직렬화) 사용하는 표준 라이브러리
  • RandomForestRegressor: 랜덤 포레스트 회귀 모델
• 데이터 불러오기
  • data = fetch_california_housing(): 캘리포니아 주택 가격 데이터셋을 내려받아 data 변수에 저장
  • X = data.data: 입력 데이터(특성, feature) 8개를 X에 저장
  • y = data.target: 예측 대상(타깃), 즉 해당 구역의 중간 집값(단위: 10만 달러)을 y에 저장
• 모델학습
  • model = RandomForestRegressor(): 랜덤 포레스트 회귀 모델 객체를 생성
  • model.fit(X, y): 입력 데이터(X)와 정답(y)으로 모델을 학습시킨다.
  • 이 과정을 통해 모델이 "특성 → 집값"의 관계를 학습
• 모델저장
  • open("california_model.pkl", "wb"): 모델을 저장할 파일을 이진 쓰기 모드로 연다.
  • pickle.dump(model, f): 학습된 모델 객체를 파일에 저장(직렬화)
  • 이렇게 저장된 pkl 파일은 나중에 FastAPI에서 불러와 바로 예측에 사용할 수 있다.
  • 정리하면 캘리포니아 집값 데이터셋을 불러와서 랜덤 포레스트 회귀 모델로 학습한 뒤 학습된 모델을 pkl 파일로 저장하는 코드
  • 이렇게 저장된 모델 파일을 API 서버에서 불러와 서빙하면, 입력값(특성 8개)을 받아 집값을 예측 가능

 

import pickle
import numpy as np
from fastapi import FastAPI
from pydantic import BaseModel
from fastapi.middleware.cors import CORSMiddleware


app = FastAPI()

'''
HouseInput: API로 받을 입력값의 구조를 정의
각 필드는 캘리포니아 집값 데이터셋의 feature와 정확히 일치해야 한다.
'''

# 입력 데이터 구조 정의
class HouseInput(BaseModel):
    MedInc: float      # 중간 소득
    HouseAge: float    # 주택 연식
    AveRooms: float    # 평균 방 개수
    AveBedrms: float   # 평균 침실 개수
    Population: float  # 인구 수
    AveOccup: float    # 평균 가구원 수
    Latitude: float    # 위도
    Longitude: float   # 경도

'''
FastAPI 최초 실행 시 실행되는 함수
with open("app/california_model.pkl", "rb") as f: 저장된 pkl 파일을 읽기 모드로 열고,
pickle.load(f): 파일에서 학습된 모델 객체를 복원(역직렬화)
이제 서버가 켜진 후에는, API 요청마다 모델을 새로 불러올 필요 없이, 메모리에 올려둔 모델을 바로 사용할 수 있다.
'''
@app.on_event("startup")
def load_model():
    global model
    with open("app/california_model.pkl", "rb") as f:
        model = pickle.load(f)

'''
input: HouseInput: 입력값이 HouseInput 구조를 따라야 함을 명시
X = np.array([[...]]): 입력값을 2차원 배열로 변환(scikit-learn 모델은 항상 2차원 배열을 입력으로 받음)
model.predict(X): 입력값에 대해 모델이 집값을 예측
'''
@app.post("/predict")
def predict(input: HouseInput):
    X = np.array([[input.MedInc, input.HouseAge, input.AveRooms, input.AveBedrms,
                   input.Population, input.AveOccup, input.Latitude, input.Longitude]])
    y_pred = model.predict(X)
    return {"predicted_house_value($100,000)": float(y_pred[0])}

 

스웨거로 테스트

{
  "predicted_house_value($100,000)": 4.400230700000003
}