🦭 AI&Big Data

개념 MinIO란? MinIO는 AWS S3와 호환되는 오브젝트 스토리지 시스템으로, 데이터를 저장하고 관리하는 역할  실습 요청사항 data는 minio의 raw-data 버킷에서 가져와서 airflow로 매 시간 정각에 실행되는, 로그는 mlflow에 남는 pipeline dag를 완성dag이름은 00_airflow_mlops.py로 합니다.experiment 이름은 fisa-ml 사고과정 MinIO에서 데이터를 가져와서, 데이터를 처리한 후, MLflow에 로깅하는 데이터 파이프라인을 구축하는 DAG를 만들면 된다. MinIO에서 raw-data 버킷에 있는 data.csv 파일을 가져옴가져온 데이터를 처리하여 통계값(평균)을 계산MLflow에 로그를 기록하여 실험 관리매 시간 정각(0분)마다 실행..

MLOps Machine Learning Operations머신러닝(ML) 모델을 배포, 모니터링, 유지 관리하는 일련의 과정을 의미목표: ML 모델의 개발 생명 주기를 자동화하고 최적화하는 것이 목표필요성워크플로우 자동화: 모델 개발, 학습, 배포, 모니터링 등 전체 파이프라인 자동화안정성: 모델을 프로덕션 환경에 안정적으로 배포하고, 지속적인 모니터링을 통해 이상 상황 감지 및 대응확장성: 데이터와 트래픽에 맞게 인프라 확장모니터링: 실시간 성능 지표, 로그, 알림 통해 성능 저하, 오류 모니터링장점빠른 배포: 머신러닝 모델의 배포 과정을 자동화협업 효율성 향상: 데이터 과학자, 개발자, 운영팀의 협업모델 성능 향상: 모니터링&필요 시 업데이트vs DevOps공통점: 둘 다 소프트웨어 개발과 운영을 ..

개념 시간의 흐름에 따라 수집된 데이터로, 특정 시간 간격을 두고 연속적으로 관측된 값을 의미시간에 따른 변화와 패턴을 분석하는 데 중점을 두기 때문에, 예측, 트렌드 분석, 이상 탐지 등에 유용하게 활용 모델전통적인 시계열 분석 모델 AR (Auto-Regressive) 모델: 과거 데이터(자기 회귀)를 기반으로 현재 값을 예측MA (Moving Average) 모델: 과거의 오차(잔차) 값을 기반으로 현재 값을 예측ARMA (Auto-Regressive Moving Average): AR과 MA 모델을 결합한 방식ARIMA (Auto-Regressive Integrated Moving Average) 모델: 비정상 시계열 데이터를 차분하여 안정적으로 만든 후 예측하는 모델SARIMA (Seasonal..

딥러닝과 신경망 머신러닝의 한 분야로, 인공 신경망(ANN)을 기반으로 대량의 데이터를 학습하여 뛰어난 성능을 발휘하는 알고리즘딥러닝은 여러 층을 통해 점점 더 추상화된 특징을 학습하며, 복잡한 패턴을 인식하고 문제를 해결하는 데 뛰어난 성능을 보인다.특히 딥러닝은 대규모 데이터와 강력한 계산 능력을 활용하여 모델이 점점 더 강력한 예측 능력을 발휘하도록 한다. 딥러닝 vs 전통적인 머신러닝 전통적인 머신러닝에서는 특징 추출(Feature Engineering)을 사람이 직접 해야 한다.딥러닝은 자동 특징 학습(Representation Learning)을 통해 데이터를 자동으로 분석하고 중요한 특징을 학습한다. 전통적인 머신러닝 모델은 주로 단일 층에서 주어진 특징을 바탕으로 예측을 수행딥러닝 모델은 ..

비지도 학습이란? 타깃 값을 알 수 없거나 예측할 수 없는 데이터를 학습하는 방법지도 학습과 달리 정답(라벨)이 없으며, 데이터의 패턴을 발견하고 그룹화하는 데 초점을 맞춤ex) 군집, 차원축소 1. 군집 알고리즘 (Clustering) 비슷한 샘플끼리 그룹으로 묶는 과정, 이를 수행하는 알고리즘클러스터: 군집에서 만들어진 각 그룹 K-Means 군집 알고리즘 K-Means는 가장 널리 사용되는 군집 알고리즘으로, K개의 클러스터 중심(센트로이드, Centroid)을 자동으로 찾는 방식K-Means 알고리즘 작동 방식임의로 K개의 클러스터 중심을 지정각 샘플을 가장 가까운 클러스터 중심에 할당클러스터에 속한 샘플들의 평균값을 계산하여 새로운 클러스터 중심을 갱신클러스터 중심이 더 이상 변화하지 않을 때까..

1. 결정 트리 데이터를 트리 구조로 분류하는 지도 학습 알고리즘각 노드에서 특정 기준을 바탕으로 데이터를 분할하고, 최종적으로 각 리프 노드에서 예측 값을 결정 특징해석이 쉬우며 시각적으로 표현 가능과대적합(overfitting)될 가능성이 있음분할 기준에 따라 성능이 달라질 수 있음 사이킷런을 활용한 결정 트리 구현from sklearn.tree import DecisionTreeClassifier# 모델 생성 및 학습dt = DecisionTreeClassifier(max_depth=3, random_state=42)dt.fit(X_train, y_train)# 예측y_pred = dt.predict(X_test) 교차 검증과 검증 세트 교차 검증 모델을 평가할 때 데이터를 여러 번 학습 및 검증하..

1.  로지스틱 회귀 로지스틱 회귀는 이름에서 "회귀"라는 단어가 포함되어 있지만, 실제로는 분류 문제를 해결하는 알고리즘이다.주로 이진 분류에서 사용되며, 예측 값을 0과 1 사이의 확률로 변환하여 결과를 제공선형 방정식을 기반으로 하며, 이 값을 시그모이드 함수를 통해 0과 1 사이의 확률 값으로 변환-> 분류 문제에서 각 클래스에 속할 확률을 계산 작동 원리 입력 데이터를 바탕으로 선형 방정식을 통해 예측값을 계산그러나 이 예측값은 확률이 아니므로, 이를 시그모이드 함수에 통과시켜 0과 1 사이의 확률로 변환한다.이진 분류에서 확률값이 0.5보다 크면 양성 클래스, 작으면 음성 클래스로 예측from sklearn.linear_model import LogisticRegression# 모델 생성lr ..

회귀KNN 회귀는 가장 가까운 k개의 이웃을 찾아 예측값을 계산하는 방법이다.하지만 멀리 있는 이웃들이 예측에 영향을 미치면 정확도가 떨어질 수 있다. 이런 문제를 해결하려면 회귀 모델을 사용한다.모델 파라미터는 모델이 학습을 통해 자동으로 조정되는 값하이퍼파라미터는 모델 학습 전에 사용자가 설정하는 값회귀회귀는 연속적인 타깃 변수와 설명 변수(특성) 사이의 관계를 모델링하는 기법. 주로 예측 문제에서 사용되며, 선형 회귀는 가장 기본적인 형태로, 두 변수 간의 관계를 직선(또는 고차원에서는 초평면)으로 나타낸다. K-최근접 이웃 회귀 회귀 문제에 KNN 알고리즘을 적용한 것회귀는 연속적인 값을 예측하는 문제로, 분류 문제와 달리 예측하려는 값이 여러 클래스 중 하나가 아니라 실수 값ex) 경제 성장률 ..