빅데이터 커리어 가이드북(2)

프로그래밍 언어와 기술

데이터 엔지니어는 데이터를 수집, 저장, 처리하는 시스템을 설계하고 운영하기 때문에 프로그래밍을 높은 수준으로 이해하고 있어야 한다.

데이터 엔지니어가 많이 사용하는 언어

2020년 기준 캐글(Kaggle) 설문조사에 따르면, 데이터 엔지니어가 많이 사용하는 언어는 다음과 같다.

• Python (86%): 데이터 처리, 분석, 머신러닝 등 다양한 작업에서 가장 널리 사용되는 언어
• SQL (70%): 데이터베이스 관리 및 쿼리 작성을 위해 필수적인 언어
• Bash (21%): 데이터 파이프라인 자동화 및 서버 관리에 유용한 스크립트 언어
• Java (19%): 대규모 데이터 처리 프레임워크에서 많이 사용
  
  

프로그래밍 언어의 유형

데이터 엔지니어가 사용하는 언어는 그 용도와 특징에 따라 다음과 같이 분류

1. 마크업 언어

• 데이터를 구조화하고 표현하기 위한 언어
• 예: HTML, XML, JSON

2. 데이터베이스 언어

• 데이터 저장, 검색, 수정에 사용되는 언어
• 예: SQL 

 

3. 인터프리터식 언어

• 코드를 한 줄씩 실행하며 결과를 바로 확인할 수 있는 언어
• 예: Python, JavaScript, Bash

4. 컴파일식 언어

• 전체 코드를 컴파일하여 실행하는 언어로, 성능이 중요한 작업에 사용
• 예: Java, C++
  
  
  
  

자료구조와 알고리즘의 중요성

데이터 엔지니어는 자료구조와 알고리즘에 대한 깊은 이해가 필요

• 자료구조: 데이터를 효율적으로 저장하고 관리하기 위한 구조
• 알고리즘: 데이터를 처리하고 문제를 해결하는 절차나 공식
  
  

1. 문제 정의

문제를 명확하게 표현했는지 확인하며, 이를 위해 문제 제시자와 소통

문제를 얼마나 잘 해결해야 하는지에 대한 목표를 설정

최종 결과를 전달받는 대상자를 명확히 설정

문제 해결을 위한 데이터, IT 환경, 빅데이터 전문가 등의 자원을 점검


2. 데이터 수집 및 이해

IT 환경을 조성하고 데이터를 수집하며, 데이터를 이해하는 데 많은 시간을 투자한다.

양질의 데이터를 적시에 제공해야 하며, 정해진 기한을 준수해야 한다.

데이터 준비는 한 번에 완벽하게 끝낼 수 없기에 분석 및 모델링 단계에서 미흡한 점이 발견되면 데이터를 다시 준비하고 반복적으로 개선하며 이를 위해 관련 IT 환경을 잘 조성해야 한다.



3. 데이터 분석과 모델링

본격적인 분석과 모델링을 진행하는 단계로, 이 과정에서 눈에 보이는 결과물이 나온다. ex) 머신러닝



4. 배포 및 적용

분석 및 모델링의 결과물을 사용자에게 편리하게 제공하도록 재구성해 전달

결과물을 사용자를 고려하여 소프트웨어나 코드 형태로 제공하며, 사용법 교육과 문제 해결 가정 및 한계점을 설명

사용자로부터 피드백을 받아 개선에 활용

데이터 준비 단계

• 데이터 수집: 데이터를 분석에 활용하기 위해 수집 하여 분석 DB로 가져오는 단계
  
  • 내부 데이터는 DBA를 통해 접근 권한을 얻고, 외부 데이터는 문의나 구매를 통해 수집
    이 과정에서 메타데이터도 함께 수집해야 한다.
• 데이터 품질 확인: 데이터의 신뢰성을 판단하는 단계
  
  • 정확성, 완전성, 일관성, 유용성의 4가지 기준을 점검
• 데이터 정제: 데이터 품질을 향상 위해 데이터 정제하는 단계
  
  • 메타데이터를 참고하여 누락된 값은 제거하거나 대체하며, 오류 값을 처리하고 생성 규칙을 유추하여 데이터를 보완
• 데이터 변환: 데이터 형태와 스케일을 변환하는 단계
  
  • 범주화와 정규화의 방법을 통해 데이터를 분석에 적합하게 변환
• 데이터 특성 추출: 분석 목표에 적합한 변수를 추가하는 단계
  
  • (=피처 엔지니어링) 이를 통해 기존 데이터보다 더 유의미한 변수를 생성
• 데이터 준비 과정 기록: 모든 과정을 문서화하는 단계
  
  • 데이터 분석은 반복되는 작업이므로 코드와 설명을 체계적으로 정리

데이터 시각화 도구와 기법

1. 그래프: 시간에 따른 변화를 시각화할 때 사용

ex) 주가 변동, 매출 추이, 온도 변화



2. 히스토그램: 연속형 변수의 분포를 시각화하는 데 사용

막대그래프와 비슷하지만, 막대그래프는 범주형 또는 이산형 변수의 빈도를 나타내는 데 주로 사용

ex) 특정 점수 분포, 나이대별 인구 분포



3. 테이블: 데이터를 구조화된 형태로 나열하여 정보 전달

히트맵: 여러 변수 간의 관계를 색상 차이로 표현


4. 지도 시각화: 공간 데이터를 시각화하는 데 사용

지역별 데이터 차이를 한눈에 볼 수 있음

ex) 지역별 판매량, 인구밀도, 기후 분포



5. 시각화 도구

Matplotlib: 파이썬의 기본적인 시각화 라이브러리
Seaborn: Matplotlib을 기반으로 더 직관적이고 통계적인 시각화


6. 대시보드( = BI(Business Intelligence)도구)

여러 지표와 데이터를 하나의 화면에서 종합적으로 보여주는 보고

ex) Tableau



7. 데이터 분석 소프트웨어: 코딩 없이도 데이터 분석의 모든 과정을 수행할 수 있는 도구

ex) RapidMiner

웹 크롤링

웹 데이터를 수집하는 방법에는 3가지가 존재



1. HTTP 통신을 이용한 크롤링

• 웹 페이지의 HTML 코드를 다운로드한 후 이를 파싱하여 필요한 데이터를 추출

• requests 라이브러리로 HTTP 요청을 보내 HTML 소스코드를 가져옴

• 파싱 도구로는 BeautifulSoup을 사용하여 HTML 문서를 파이썬 객체로 변환하고, 특정 태그 정보를 기반으로 데이터를 추출



2. 브라우저 기반 크롤링

• URL 주소를 알기 어렵거나, JavaScript를 통해 동적으로 생성되는 콘텐츠를 크롤링할 때 사용

• Selenium을 사용하여 웹 브라우저를 프로그래밍 방식으로 조작하며 데이터를 수집



3. API 활용

• 서비스 제공자가 제공하는 API를 이용하여 데이터를 수집

• API를 사용하려면 해당 서비스에서 제공하는 키를 받아야 한다.

• 크롤러는 API를 호출하여 데이터 제공자로부터 JSON, XML의 형태로 데이터를 응답받음



파싱과 파서

파싱: 문서를 특정 규칙에 따라 분해하고 구조를 이해하는 과정
파싱하여 특정 태그나 속성에서 데이터를 추출


파서: 파싱을 수행하는 프로그램
Python에서 BeautifulSoup이 HTML 파서


웹 크롤러: 웹 크롤러는 웹에서 데이터를 자동으로 수집하는 프로그램으로 크롤링(데이터 수집)과 스크래핑(필요한 데이터 추출) 존재



주요 도구

requests: HTTP 요청을 보내 HTML 소스를 가져옴. get, post함수 사용

BeautifulSoup: HTML 문서를 파싱하여 파이썬 객체로 변환, HTML 태그를 탐색하고 특정 데이터 추출에 사용

Selenium: 브라우저를 자동화하여 JavaScript로 동적으로 생성된 데이터를 수집



API 활용 크롤러

API를 사용하여 서비스 제공자의 데이터를 간단하게 가져올 수 있음, API 호출 시키를 받아야 하며, 응답으로 JSON, XML 형태의 데이터를 제공받는다.

크롤링 시 주의사항

• 시간 간격 유지
  • 페이지 요청 사이에 일정한 시간 간격을 두어야 한다.
  • 웹사이트 관리자가 요청을 차단하지 않도록 하기 위함
• 웹사이트 정책 준수
  • 웹사이트의 robots.txt 파일을 확인하고, 크롤링이 허용된 페이지만 수집해야 함
• 개인 정보 보호
  • 크롤링한 데이터 중 민감한 정보가 포함되지 않도록 주의