빅데이터 커리어 가이드북(1)

빅데이터 프로젝트

 

시작, 문제 정의, 데이터 수집 및 이해, 분석 및 모델링, 배포 및 적용, 종료의 단계를 거친다.

시작 →문제정의 ↔ 데이터 수집 및 이해 ↔ 배포 및 적용 →종료

시작 →문제정의 ↔ 분석 및 모델링 ↔ 배포 및 적용 →종료

데이터 수집 및 이해 ↔ 분석 및 모델링

 

1. 문제 정의

1. 문제를 명확하게 표현했는지 확인하며, 이를 위해 문제 제시자와 소통
2. 문제를 얼마나 잘 해결해야 하는지에 대한 목표를 설정
3. 최종 결과를 전달받는 대상자를 명확히 설정
4. 문제 해결을 위한 데이터, IT 환경, 빅데이터 전문가 등의 자원을 점검

 

2. 데이터 수집 및 이해

IT 환경을 조성하고 데이터를 수집하며, 데이터를 이해하는 데 많은 시간을 투자한다.

양질의 데이터를 적시에 제공해야 하며, 정해진 기한을 준수해야 한다.

데이터 준비는 한 번에 완벽하게 끝낼 수 없기에 분석 및 모델링 단계에서 미흡한 점이 발견되면 데이터를 다시 준비하고 반복적으로 개선하며 이를 위해 관련 IT 환경을 잘 조성해야 한다.

 

3. 데이터 분석과 모델링

본격적인 분석과 모델링을 진행하는 단계로, 이 과정에서 눈에 보이는 결과물이 나온다. ex) 머신러닝

 

4. 배포 및 적용

분석 및 모델링의 결과물을 사용자에게 편리하게 제공하도록 재구성해 전달

결과물을 사용자를 고려하여 소프트웨어나 코드 형태로 제공하며, 사용법 교육과 문제 해결 가정 및 한계점을 설명

사용자로부터 피드백을 받아 개선에 활용

 

데이터 준비 단계

1. 데이터 수집: 데이터를 분석에 활용하기 위해 수집 하여 분석 DB로 가져오는 단계
   • 내부 데이터는 DBA를 통해 접근 권한을 얻고, 외부 데이터는 문의나 구매를 통해 수집
   • 이 과정에서 메타데이터도 함께 수집해야 한다.
2.  데이터 품질 확인: 데이터의 신뢰성을 판단하는 단계
   • 정확성, 완전성, 일관성, 유용성의 4가지 기준을 점검
3. 데이터 정제: 데이터 품질을 향상 위해 데이터 정제하는 단계
   • 메타데이터를 참고하여 누락된 값은 제거하거나 대체하며, 오류 값을 처리하고 생성 규칙을 유추하여 데이터를 보완
4. 데이터 변환: 데이터 형태와 스케일을 변환하는 단계
   
   • 범주화와 정규화의 방법을 통해 데이터를 분석에 적합하게 변환
5. 데이터 특성 추출: 분석 목표에 적합한 변수를 추가하는 단계
   
   • (=피처 엔지니어링) 이를 통해 기존 데이터보다 더 유의미한 변수를 생성
6. 데이터 준비 과정 기록: 모든 과정을 문서화하는 단계
   • 데이터 분석은 반복되는 작업이므로 코드와 설명을 체계적으로 정리

 

데이터 시각화 도구와 기법

 

1. 그래프: 시간에 따른 변화를 시각화할 때 사용

ex) 주가 변동, 매출 추이, 온도 변화

 

2. 히스토그램: 연속형 변수의 분포를 시각화하는 데 사용

막대그래프와 비슷하지만, 막대그래프는 범주형 또는 이산형 변수의 빈도를 나타내는 데 주로 사용

ex) 특정 점수 분포, 나이대별 인구 분포

 

3. 테이블: 데이터를 구조화된 형태로 나열하여 정보 전달

• 히트맵: 여러 변수 간의 관계를 색상 차이로 표현

 

4. 지도 시각화: 공간 데이터를 시각화하는 데 사용

지역별 데이터 차이를 한눈에 볼 수 있음

ex) 지역별 판매량, 인구밀도, 기후 분포

 

5. 시각화 도구

• Matplotlib: 파이썬의 기본적인 시각화 라이브러리
• Seaborn: Matplotlib을 기반으로 더 직관적이고 통계적인 시각화

 

6. 대시보드( = BI(Business Intelligence)도구)

여러 지표와 데이터를 하나의 화면에서 종합적으로 보여주는 보고

ex) Tableau

 

7. 데이터 분석 소프트웨어: 코딩 없이도 데이터 분석의 모든 과정을 수행할 수 있는 도구

ex) RapidMiner

 

웹 크롤링

 

웹 데이터를 수집하는 방법에는 3가지가 존재

 

1. HTTP 통신을 이용한 크롤링

• 웹 페이지의 HTML 코드를 다운로드한 후 이를 파싱하여 필요한 데이터를 추출

• requests 라이브러리로 HTTP 요청을 보내 HTML 소스코드를 가져옴

• 파싱 도구로는 BeautifulSoup을 사용하여 HTML 문서를 파이썬 객체로 변환하고, 특정 태그 정보를 기반으로 데이터를 추출

 

2. 브라우저 기반 크롤링

• URL 주소를 알기 어렵거나, JavaScript를 통해 동적으로 생성되는 콘텐츠를 크롤링할 때 사용

• Selenium을 사용하여 웹 브라우저를 프로그래밍 방식으로 조작하며 데이터를 수집

 

3. API 활용

• 서비스 제공자가 제공하는 API를 이용하여 데이터를 수집

• API를 사용하려면 해당 서비스에서 제공하는 키를 받아야 한다.

• 크롤러는 API를 호출하여 데이터 제공자로부터 JSON, XML의 형태로 데이터를 응답받음

 

파싱과 파서

• 파싱: 문서를 특정 규칙에 따라 분해하고 구조를 이해하는 과정
• 파싱하여 특정 태그나 속성에서 데이터를 추출

 

• 파서: 파싱을 수행하는 프로그램
• Python에서 BeautifulSoup이 HTML 파서

 

웹 크롤러

웹 크롤러는 웹에서 데이터를 자동으로 수집하는 프로그램으로 크롤링(데이터 수집)과 스크래핑(필요한 데이터 추출) 존재

 

주요 도구

requests: HTTP 요청을 보내 HTML 소스를 가져옴. get, post함수 사용

BeautifulSoup: HTML 문서를 파싱하여 파이썬 객체로 변환, HTML 태그를 탐색하고 특정 데이터 추출에 사용

Selenium: 브라우저를 자동화하여 JavaScript로 동적으로 생성된 데이터를 수집

 

API 활용 크롤러

API를 사용하여 서비스 제공자의 데이터를 간단하게 가져올 수 있음, API 호출 시키를 받아야 하며, 응답으로 JSON, XML 형태의 데이터를 제공받는다.

 

크롤링 시 주의사항

1. 시간 간격 유지
   • 페이지 요청 사이에 일정한 시간 간격을 두어야 한다.
   • 웹사이트 관리자가 요청을 차단하지 않도록 하기 위함
2. 웹사이트 정책 준수
   • 웹사이트의 robots.txt 파일을 확인하고, 크롤링이 허용된 페이지만 수집해야 함
3. 개인 정보 보호
   • 크롤링한 데이터 중 민감한 정보가 포함되지 않도록 주의

 

참고

https://product.kyobobook.co.kr/detail/S000001834719

빅데이터 커리어 가이드북 | 조성준 - 교보문고