우리 FISA AI엔지니어링 10주차 과정

Monday(03.10)

 

예비군 이슈 ...

 

Tuesday(03.11)

 

https://koreatstm.tistory.com/266

시계열 데이터

 

오늘 6시부터 프로젝트 준비를 했다.

지민이랑 명희랑 셋이 프로젝트 조가 되었고, 재미있는 데이터를 사용해보자 해서, 네이버웹툰 데이터를 가지고 개발을 진행했다.

해당 데이터로 뭘 할 수 있을까 고민을 해봤는데, 마땅히 써먹을 수 있는 데이터가 아니다라고 판단해서, 그러면 댓글을 크롤링 해와서 이걸로 개발을 시작해보자 라는 계획을 가졌다.

 

Wednesday(03.12)

 

https://github.com/seongjju/fisatoons

GitHub - seongjju/fisatoons: 네이버 웹툰 데이터 분석 및 시각화 프로젝트

 

발생한 문제

 

문제 1

• 네이버에서는 로그인하지 않은 상태에서는 19세 이상 웹툰의 댓글을 크롤링할 수 없다. 따라서 로그인 후 크롤링을 시도하였지만, 자동 로그인 방식은 네이버의 로봇 인증 시스템에 의해 차단되었다.

해결 방법

• 크롬 원격 디버깅 모드를 활용했다. 이를 통해 내가 직접 로그인한 세션을 유지한 상태에서 크롤링을 수행할 수 있었다.

 

문제 2

• 웹툰 사이트의 크롤링 방지 문제
• 네이버 웹툰이 특정 웹툰은 XPath가 다르게 설정되어 있었다. 한 개의 XPath만 사용하면 일부 웹툰의 댓글은 가져올 수 없고, 특정 웹툰에서는 크롤링이 실패하는 문제가 발생했다.

해결 방법

• XPath 패턴 분석 후 자동 탐색 로직 적용
  • 여러 웹툰의 HTML 구조를 분석하여 최대한 공통된 패턴을 도출
• 예외 처리 및 다중 XPath 시도
  • 특정 XPath가 변경되었을 경우, 예외 처리를 통해 다른 XPath를 자동으로 시도하도록 설정
  • 3가지 다른 XPath 구조를 확인하여 적용 완료하였으며, 새로운 웹툰이 추가될 경우 쉽게 확장할 수 있도록 만들었다.

 

Thursday(03.13)

 

지민이가 최종적으로 도출해 낸 데이터로 차트를 완성했다.

 

- 웹툰별 감성 분석 차트: 특정 웹툰에 대한 긍정/부정 댓글 비율 및 감성 변화 추이를 시각화

- 장르별 평균 별점 비교 차트: 웹툰 장르별 평균 별점을 분석하여 어떤 장르가 높은 평가를 받는지 비교

- 요일별 평균 별점 비교 차트: 요일별 평균 별점을 시각화하여 특정 요일에 높은 평가를 받는 웹툰 경향을 분석

- 예측 모델 성능 비교: 머신러닝 및 딥러닝 모델을 활용한 실제 별점과 예측 별점의 차이를 3D 스캐터 플롯으로 표현

 

Friday(03.14)

 

오늘은 수업 후에, 시험을 봤다.

ELK와 AI 내용이였는데, 시험으로 보니 꽤 어려웠다..

 

추가로 3주전에 보았던 ADsP 시험에 합격했다.

힘든 시기에 힘이 되는 소식이다.

https://koreatstm.tistory.com/251

ADsP 합격 후기