MLOps

개념 MinIO란? MinIO는 AWS S3와 호환되는 오브젝트 스토리지 시스템으로, 데이터를 저장하고 관리하는 역할  실습 요청사항 data는 minio의 raw-data 버킷에서 가져와서 airflow로 매 시간 정각에 실행되는, 로그는 mlflow에 남는 pipeline dag를 완성dag이름은 00_airflow_mlops.py로 합니다.experiment 이름은 fisa-ml 사고과정 MinIO에서 데이터를 가져와서, 데이터를 처리한 후, MLflow에 로깅하는 데이터 파이프라인을 구축하는 DAG를 만들면 된다. MinIO에서 raw-data 버킷에 있는 data.csv 파일을 가져옴가져온 데이터를 처리하여 통계값(평균)을 계산MLflow에 로그를 기록하여 실험 관리매 시간 정각(0분)마다 실행..

MLOps Machine Learning Operations머신러닝(ML) 모델을 배포, 모니터링, 유지 관리하는 일련의 과정을 의미목표: ML 모델의 개발 생명 주기를 자동화하고 최적화하는 것이 목표필요성워크플로우 자동화: 모델 개발, 학습, 배포, 모니터링 등 전체 파이프라인 자동화안정성: 모델을 프로덕션 환경에 안정적으로 배포하고, 지속적인 모니터링을 통해 이상 상황 감지 및 대응확장성: 데이터와 트래픽에 맞게 인프라 확장모니터링: 실시간 성능 지표, 로그, 알림 통해 성능 저하, 오류 모니터링장점빠른 배포: 머신러닝 모델의 배포 과정을 자동화협업 효율성 향상: 데이터 과학자, 개발자, 운영팀의 협업모델 성능 향상: 모니터링&필요 시 업데이트vs DevOps공통점: 둘 다 소프트웨어 개발과 운영을 ..