🦭 AI&Big Data

딥러닝과 신경망 머신러닝의 한 분야로, 인공 신경망(ANN)을 기반으로 대량의 데이터를 학습하여 뛰어난 성능을 발휘하는 알고리즘딥러닝은 여러 층을 통해 점점 더 추상화된 특징을 학습하며, 복잡한 패턴을 인식하고 문제를 해결하는 데 뛰어난 성능을 보인다.특히 딥러닝은 대규모 데이터와 강력한 계산 능력을 활용하여 모델이 점점 더 강력한 예측 능력을 발휘하도록 한다. 딥러닝 vs 전통적인 머신러닝 전통적인 머신러닝에서는 특징 추출(Feature Engineering)을 사람이 직접 해야 한다.딥러닝은 자동 특징 학습(Representation Learning)을 통해 데이터를 자동으로 분석하고 중요한 특징을 학습한다. 전통적인 머신러닝 모델은 주로 단일 층에서 주어진 특징을 바탕으로 예측을 수행딥러닝 모델은 ..

1.  로지스틱 회귀 로지스틱 회귀는 이름에서 "회귀"라는 단어가 포함되어 있지만, 실제로는 분류 문제를 해결하는 알고리즘이다.주로 이진 분류에서 사용되며, 예측 값을 0과 1 사이의 확률로 변환하여 결과를 제공선형 방정식을 기반으로 하며, 이 값을 시그모이드 함수를 통해 0과 1 사이의 확률 값으로 변환-> 분류 문제에서 각 클래스에 속할 확률을 계산 작동 원리 입력 데이터를 바탕으로 선형 방정식을 통해 예측값을 계산그러나 이 예측값은 확률이 아니므로, 이를 시그모이드 함수에 통과시켜 0과 1 사이의 확률로 변환한다.이진 분류에서 확률값이 0.5보다 크면 양성 클래스, 작으면 음성 클래스로 예측from sklearn.linear_model import LogisticRegression# 모델 생성lr ..

회귀KNN 회귀는 가장 가까운 k개의 이웃을 찾아 예측값을 계산하는 방법이다.하지만 멀리 있는 이웃들이 예측에 영향을 미치면 정확도가 떨어질 수 있다. 이런 문제를 해결하려면 회귀 모델을 사용한다.모델 파라미터는 모델이 학습을 통해 자동으로 조정되는 값하이퍼파라미터는 모델 학습 전에 사용자가 설정하는 값회귀회귀는 연속적인 타깃 변수와 설명 변수(특성) 사이의 관계를 모델링하는 기법. 주로 예측 문제에서 사용되며, 선형 회귀는 가장 기본적인 형태로, 두 변수 간의 관계를 직선(또는 고차원에서는 초평면)으로 나타낸다. K-최근접 이웃 회귀 회귀 문제에 KNN 알고리즘을 적용한 것회귀는 연속적인 값을 예측하는 문제로, 분류 문제와 달리 예측하려는 값이 여러 클래스 중 하나가 아니라 실수 값ex) 경제 성장률 ..

머신러닝특성(Feature): 데이터를 설명하는 다양한 요소들을 특성이라고 한다.예를 들어, 집 가격 예측에서는 면적, 방 개수, 위치 등이 특성이 될 수 있다. 분류 문제와 이진 분류머신러닝 문제 중 하나는 분류(Classification) 문제여러 개의 클래스 중에서 하나를 선택하는 문제예를 들어, 이메일이 스팸인지 스팸 아님인지 구분하는 문제는 이진 분류(Binary Classification)에 해당이진 분류: 두 개의 클래스 중 하나를 고르는 문제 (예: 이메일이 스팸인지 아닌지)다중 클래스 분류: 여러 개의 클래스 중 하나를 고르는 문제 (예: 동물 종류를 고르는 문제) 훈련(Training)과 예측(Prediction)훈련(Training): 머신러닝 모델에 데이터를 제공하여 모델이 데이터를..

인공지능이란?사람처럼 학습하고 추론할 수 있는 지능을 가진 컴퓨터 시스템을 만드는 기술기본적으로 인간의 지능을 모방하려는 시도에서 시작됨우리가 하는 다양한 작업들을 컴퓨터가 할 수 있도록 하여, 일상 생활의 효율성을 높이고 있다. 강인공지능 vs 약인공지능강인공지능(AGI, Artificial General Intelligence)인간과 유사한 수준의 지능을 가진 컴퓨터 시스템다양한 문제를 스스로 해결할 수 있으며, 스스로 학습하고 추론할 수 있는 능력을 가진다.현재는 연구 단계에 있으며, 실현되지는 않았다.약인공지능(ANI, Artificial Narrow Intelligence)특정 문제를 해결하는 데 특화된 AI. 현재 우리가 사용하는 대부분의 AI 시스템은 이 범주에 속한다.예를 들어, 음성 인식..

특징검색 엔진: 전문 검색 지원, 역색인 통한 빠른 속도, 애널라이저 통한 형태소 분석분산 처리고가용성수평적 확장성JSON기반 REST API 준실시간 검색: 역색인으로부터 검색이 가능해지기까지 1초의 시간이 걸리기에, 준실시간 검색이라 할 수있다.조인과 트랜잭션 미지원 Elasticsearch에서 하나의 인덱스에 하나의 타입만 구성할 수 있다는 제약이 있지만, 다른 타입을 사용해야 하는 경우에는 배열이나 다양한 필드로 여러 데이터를 저장하는 방법을 사용할 수 있다. 문서 색인 1. 색인(Indexing)PUT [인덱스 이름] /_doc/[_id값]{ [문서 내용]} 데이터를 Elasticsearch에 저장하는 과정. 이 작업은 주로 문서(document)를 특정 형식으로 Elasticsearch의..

자세한 정보는 아래 참고https://pandas.pydata.org/docs/ pandas documentation — pandas 2.2.3 documentationAPI reference The reference guide contains a detailed description of the pandas API. The reference describes how the methods work and which parameters can be used. It assumes that you have an understanding of the key concepts.pandas.pydata.org 판다스란? 판다스는 데이터 분석 라이브러리로, 시리즈와 데이터프레임 자료형으로 데이터를 다룬다.내부적으로 넘..

자세한 정보는 아래 참고https://numpy.org/doc/ NumPy Documentation numpy.org NumPy란? 아래는 NumPy를연습해 볼 수 있는 사이트이다.https://www.w3schools.com/python/numpy/default.asp  NumPy 이모저모 우리 주변에 많은것들이 행렬로 표현된다. 사진, 시계열 데이터 모두 행렬로 표현되며, 이때 NumPy가 적합하다.NumPy의 배열인 ndarray를 이용하여 행렬 연산을 효율적으로 할 수 있다.NumPy는 C 언어로 구현되어 있어, Python보다 훨씬 빠르게 배열 연산을 수행할 수 있다.ndarray는 같은 자료형을 가지는 요소만 처리하지만, 형변환을 통해 연산이 가능하다.형변환 가능  ex) float 배열에 i..