🐰우리 FISA/빅데이터

특징검색 엔진: 전문 검색 지원, 역색인 통한 빠른 속도, 애널라이저 통한 형태소 분석분산 처리고가용성수평적 확장성JSON기반 REST API 준실시간 검색: 역색인으로부터 검색이 가능해지기까지 1초의 시간이 걸리기에, 준실시간 검색이라 할 수있다.조인과 트랜잭션 미지원 Elasticsearch에서 하나의 인덱스에 하나의 타입만 구성할 수 있다는 제약이 있지만, 다른 타입을 사용해야 하는 경우에는 배열이나 다양한 필드로 여러 데이터를 저장하는 방법을 사용할 수 있다. 문서 색인 1. 색인(Indexing)PUT [인덱스 이름] /_doc/[_id값]{ [문서 내용]} 데이터를 Elasticsearch에 저장하는 과정. 이 작업은 주로 문서(document)를 특정 형식으로 Elasticsearch의..

자세한 정보는 아래 참고https://pandas.pydata.org/docs/ pandas documentation — pandas 2.2.3 documentationAPI reference The reference guide contains a detailed description of the pandas API. The reference describes how the methods work and which parameters can be used. It assumes that you have an understanding of the key concepts.pandas.pydata.org 판다스란? 판다스는 데이터 분석 라이브러리로, 시리즈와 데이터프레임 자료형으로 데이터를 다룬다.내부적으로 넘..

자세한 정보는 아래 참고https://numpy.org/doc/ NumPy Documentation numpy.org NumPy란? 아래는 NumPy를연습해 볼 수 있는 사이트이다.https://www.w3schools.com/python/numpy/default.asp  NumPy 이모저모 우리 주변에 많은것들이 행렬로 표현된다. 사진, 시계열 데이터 모두 행렬로 표현되며, 이때 NumPy가 적합하다.NumPy의 배열인 ndarray를 이용하여 행렬 연산을 효율적으로 할 수 있다.NumPy는 C 언어로 구현되어 있어, Python보다 훨씬 빠르게 배열 연산을 수행할 수 있다.ndarray는 같은 자료형을 가지는 요소만 처리하지만, 형변환을 통해 연산이 가능하다.형변환 가능  ex) float 배열에 i..

프로그래밍 언어와 기술데이터 엔지니어는 데이터를 수집, 저장, 처리하는 시스템을 설계하고 운영하기 때문에 프로그래밍을 높은 수준으로 이해하고 있어야 한다. 데이터 엔지니어가 많이 사용하는 언어2020년 기준 캐글(Kaggle) 설문조사에 따르면, 데이터 엔지니어가 많이 사용하는 언어는 다음과 같다. Python (86%): 데이터 처리, 분석, 머신러닝 등 다양한 작업에서 가장 널리 사용되는 언어SQL (70%): 데이터베이스 관리 및 쿼리 작성을 위해 필수적인 언어Bash (21%): 데이터 파이프라인 자동화 및 서버 관리에 유용한 스크립트 언어Java (19%): 대규모 데이터 처리 프레임워크에서 많이 사용프로그래밍 언어의 유형데이터 엔지니어가 사용하는 언어는 그 용도와 특징에 따라 다음과 같이 분류..

빅데이터 프로젝트 시작, 문제 정의, 데이터 수집 및 이해, 분석 및 모델링, 배포 및 적용, 종료의 단계를 거친다.시작 →문제정의 ↔ 데이터 수집 및 이해 ↔ 배포 및 적용 →종료시작 →문제정의 ↔ 분석 및 모델링 ↔ 배포 및 적용 →종료데이터 수집 및 이해 ↔ 분석 및 모델링 1. 문제 정의문제를 명확하게 표현했는지 확인하며, 이를 위해 문제 제시자와 소통문제를 얼마나 잘 해결해야 하는지에 대한 목표를 설정최종 결과를 전달받는 대상자를 명확히 설정문제 해결을 위한 데이터, IT 환경, 빅데이터 전문가 등의 자원을 점검 2. 데이터 수집 및 이해IT 환경을 조성하고 데이터를 수집하며, 데이터를 이해하는 데 많은 시간을 투자한다.양질의 데이터를 적시에 제공해야 하며, 정해진 기한을 준수해야 한다.데이터 ..