우리 FISA AI엔지니어링 3주차 과정

Monday (01.13)

오늘의 점심

 

별점 ⭐️ ⭐️ ⭐️

구내식당에서 먹었다.

5500원... 그냥 먹자

https://map.naver.com/p/entry/place/18808775?placePath=%252Fhome%253Fentry%253Dpll&searchType=place&lng=126.8858948&lat=37.5847261

네이버 지도

 

정보처리기사 필기 시험 신청

14시에 수강신청처럼 준비해서 신청 하였다.

CS 공부할 때 테스트를 위해 4회정도 풀어봤었는데, 단순 암기 문제 빼고는 풀만 한것 같아서, "있으면 좋고" 라는 마인드로 시험을 쳐 보려고 한다.

Adsp도 봐야해서 시간이 겹치긴 하지만, 충분히 볼 수 있을 것 같다. 바쁘게 살자

 

오늘은 EDA에 대한 수업 진행

 

Exploratory Data Analysis (EDA)

 

데이터를 처음 접할 때 그 특성을 탐색하는 과정으로, 데이터를 이해하고 더 나은 분석을 위해 준비하는 단계

기술 통계나 시각화 방법을 활용하여 데이터를 다각도로 분석하고 문제를 정의하는 데 중요한 역할

• 통계학: 수집된 자료에 대한 분석 → 과거
• 머신러닝: 들어올 자료에 대한 추론 → 미래

원시데이터를 가지고 데이터의 특징,구조로부터 정보를 얻어서 이를 바탕으로 통계모형을 만드는 분석방법

몰랐던 주요 용어 

• 일화적 증거 (Anecdotal Evidence): 과학적 연구에 의해 수집되지 않은, 우연히 얻은 증거
• 단적 연구 (Cross-sectional Study): 특정 시점에 데이터를 수집하는 연구
• 횡단적 연구 (Longitudinal Study): 시간에 따라 데이터를 추적하며 반복적으로 수집하는 연구
• 오버샘플링 (Oversampling): 표본 크기가 작은 경우 오류를 방지하기 위해 사용하는 방법
• 재코드 (Recode): 데이터를 다른 방식으로 수정하거나 계산하여 새로운 데이터를 생성하는 과정
• 자료 정제 (Data Cleaning): 데이터의 오류를 수정하고, 적절한 형태로 변환하여 분석에 적합한 데이터를 만드는 과정

EDA 프로세스

• 문제 정의: 분석의 목표와 문제를 명확히 설정
• 데이터 수집: 문제 해결에 필요한 데이터 수집
• 데이터 전처리: 데이터를 정리하고, 결측값 처리, 이상치 탐지 수행
• 데이터 모델링: 데이터를 바탕으로 모델을 만들고 분석
• 시각화 및 탐색: 데이터의 패턴을 시각적으로 탐색

EDA는 이 5단계를 한 번에 완료하는 것이 아니라, 부족한 단계가 있으면 반복적으로 돌아가면서 개선해나가는 방식으로 진행

확증적 데이터 분석 (CDA) vs. 탐색적 데이터 분석 (EDA)

• 확증적 데이터 분석 (CDA): 기존에 설정한 가설을 검증하는 분석 방법 가설을 설정하고 데이터를 수집하여 추정하거나 평가하는 방법(추론통계)
• 탐색적 데이터 분석 (EDA): 데이터를 처음부터 끝까지 탐색하여 패턴이나 관계를 발견하는 분석 방법(기술 통계)
• 빅데이터 모델링: 새로 들어오는 데이터를 얼마나 잘 설명할 수 있는지가 중요한 목표 -> 기술 통계가 빅데이터 분석에 적합 

고려해야 할 점

• 상관관계 vs. 인과관계: 상관관계가 반드시 인과관계를 의미하지 않음
  • 상관관계는 두 변수 간의 관계를 보여주지만, 항상 인과관계를 의미하지 않으므로 이를 구분하여 분석해야 함
• 이상치 탐지: 분석에서 중요한 요소로, 이상치는 결과에 큰 영향 미칠 수 있음
• 3차원 시각화는 원금감으로 인지에 대한 오차가 생기는 문제 존재. 미적 아름다움보다 데이터 이해에 걸리는 시간단축을 중시
• 대시보드 : 다양한 데이터를 동시에 비교할 수 있게 해 주는 여러 뷰의 모음

데이터의 종류에 따른 분류

• 질적변수: 명목형(순서에 의미부여 불가), 순서형(순서에 의미부여 가능)
  • 명목형 : 성별, 혈액형, 지역
  • 순서형 : 학년, 고객등급
• 양적변수: 이산형, 연속형
  • 이산형 : 학생 수, 주문 수
  • 연속형: 몸무게, 키

데이터 시각화

• 시간 시각화: 시계열 데이터를 시각적으로 표현하여 시간에 따른 변화
  • 시계열 데이터: 시간 순서에 따른 데이터
  • 분절형 데이터: 이산형 데이터로 특정 시점을 나타냄
• 분포 시각화
  • 원그래프: 적은 수의 항목을 퍼센트와 함께 보여주는 것이 좋음
  • 트리맵: 영역 기반 시각화,계층적인 구조를 표현할 때 사용
  • 누적 연속 그래프: 시계열 데이터를 누적하여 표현할 때 사용
• 관계 시각화
  • 산점도 (Scatter Plot): 두 변수 간의 관계를 시각적으로 나타냄. 양의 상관관계, 음의 상관관계, 관계없음
  • 버블 차트: 산점도에 각 요소별 비중을 더함으로써 세가지 요소 상관관계 포현, 가로축변수,세로축변수,버블크기, 원의 지름을 보고 판단
  • 히스토그램: 평균과 중앙값의 차이를 명확히 알 수 있다. 평균은 극단값 영향받음, 중앙값은 극단값 영향받지 않음
• 비교 시각화
  • 히트맵 (Heatmap): 각 칸의 색상으로 데이터 값을 표현
  • 다차원척도법: 유사도를 기반으로 데이터를 시각화
  • 공간 시각화 (Geocoding): 위치 기반 데이터를 지도에 시각화하여 패턴 분석

https://markets.hankyung.com/marketmap/kospi

주식창은 히트맵이면서 트리맵이다.

 

Matplotlib

 

Matplotlib은 Python에서 데이터를 시각화하는데 사용되는 강력한 라이브러리

데이터의 분포, 관계, 변화 등을 직관적으로 보여주기 위해 다양한 그래프를 생성할 수 있다. 

그래프 생성 시 도화지와 축을 설정하여 그래프를 그릴 수 있는 환경을 마련하고, plt.plot(), plt.bar(), plt.hist() 등의 함수로 데이터를 시각화 한다.

도화지와 축 객체 생성

• 도화지 객체 (figure): 도화지 객체는 그래프를 그리기 위한 기본 캔버스를 제공
  • plt.figure(figsize=(x, y)): 도화지 크기를 설정. x는 가로 크기, y는 세로 크기 
• 축 객체 (axes): 축 객체는 도화지 위에 표시되는 그래프의 축을 의미
  • plt.axes(): 기본 축 객체 생성

import matplotlib.pyplot as plt
import numpy as np

# 1) 도화지 객체 생성
plt.figure(figsize=(6, 4))

# 2) 제목 추가
plt.title('테스트: 한글 폰트 확인')

# 3) 그래프 그리기
plt.plot([1, 2, 3], [4, 5, 6])

# 4) 그래프 출력
plt.show()

 

그래프의 축 제한 설정

• xlim(): x축의 범위를 설정
• ylim(): y축의 범위를 설정

plt.figure(figsize=(6, 4))
x = [0, 2, 4, 6, 8]
y = [1, 2, 3, 4, 5]

plt.plot(x, y)

# x축과 y축의 범위 제한
plt.xlim(-5, 5) # x축 limit 좌 우
plt.ylim(-5, 50) # y축 limit 상하

plt.show()

 

xlim(-5, 5)와 ylim(-5, 50)으로 축의 범위를 제한하여, 설정된 영역 밖의 데이터는 보이지 않음

레이블 및 범례 설정

• plt.xlabel()과 plt.ylabel(): 각각 x축과 y축에 레이블을 추가
• plt.title(): 그래프에 제목을 추가
• plt.legend(): 범례를 추가 

plt.plot(np.random.randn(30).cumsum(), 'g-.x', label='2023년')
plt.plot(np.random.randn(30).cumsum(), 'b-.x', label='2024년')

# 축 레이블과 제목 설정
plt.title('3월 매출')
plt.xlabel('시간(단위: 일)')
plt.ylabel('매출(단위: 억원)')

# 범례 설정
plt.legend(loc='upper right', frameon=False)

# 그래프 출력
plt.show()

• label='2023년'과 label='2024년'을 사용해 범례를 추가, plt.legend(loc='upper right')로 범례의 위치를 설정
• frameon=False로 범례의 배경 삭제

이를 토대로

Bar plots, histograms, scatter plots, stack plots,  pie charts,  fill_between and alpah, 

3d scatter plots, subplotting using subplot2grid 등을 쓸 수 있다.

다 비슷하다.

(1) Bar plot (막대그래프)

x = ['A', 'B', 'C', 'D']
y = [3, 5, 2, 4]
plt.bar(x, y)
plt.show()

(2) Histogram (히스토그램)

data = np.random.randn(1000)
plt.hist(data, bins=30, alpha=0.7, color='blue')
plt.show()

(3) Scatter plot (산점도)

x = np.random.randn(100)
y = np.random.randn(100)
plt.scatter(x, y, alpha=0.5)
plt.show()

(4) Stack plot (누적 그래프)

x = np.arange(1, 6)
y1 = [1, 2, 3, 4, 5]
y2 = [2, 3, 4, 5, 6]
y3 = [3, 4, 5, 6, 7]
plt.stackplot(x, y1, y2, y3, labels=['A', 'B', 'C'], alpha=0.7)
plt.legend(loc='upper left')
plt.show()

(5) Pie chart (원형 차트)

labels = ['A', 'B', 'C', 'D']
sizes = [15, 30, 45, 10]
plt.pie(sizes, labels=labels, autopct='%1.1f%%')
plt.show()

(6) Fill_between (영역 채우기)

x = np.linspace(0, 10, 100)
y = np.sin(x)
plt.fill_between(x, y, alpha=0.5)
plt.show()

(7) 3D Scatter plot

from mpl_toolkits.mplot3d import Axes3D

# 3D 도화지 생성
fig = plt.figure()
ax = fig.add_subplot(111, projection='3d')

# 랜덤 데이터 생성
x = np.random.rand(100)
y = np.random.rand(100)
z = np.random.rand(100)

# 3D 산점도
ax.scatter(x, y, z)
plt.show()

(8)  Subplot2Grid 을 사용한 서브플롯 생성 -> 복잡한 그리드 레이아웃 생성

fig = plt.figure(figsize=(8, 6))

# 전체 5x2 그리드에서 (0, 0)부터 시작, 1행 2열
ax1 = plt.subplot2grid((5, 2), (0, 0), rowspan=1, colspan=2)

# 그래프 추가
ax1.plot([1, 2, 3], [4, 5, 6])
ax1.set_title('서브플롯 예시')

plt.show()

전체 5x2 그리드 중 첫 번째 행(rowspan)의 두 칸(colspan)을 차지하는 서브플롯이 생성

 

Seaborn

 

Matplotlib을 기반으로 동작하며, 다양한 시각화 기능을 추가하여 통계적 차트를 쉽게 그릴 수 있도록 도와주는 파이썬 라이브러리

Matplotlib을 사용할 때보다 더 직관적이고, 다양한 색상 테마와 스타일을 제공

공식사이트: https://seaborn.pydata.org/

공통 함수

plt.savefig()
# 모든 Seaborn 플롯은 Matplotlib 기능을 사용하여 파일로 저장 가능
# ex) plt.savefig('figure.png')

plt.show()
# 플롯을 화면에 표시

 

(1) lmplot (Logistic Model Plot):선형 회귀(또는 로지스틱 회귀) 모델을 시각화하는 함수

• hue 인자를 사용하여 각 범주를 색상으로 구분

import seaborn as sns
import matplotlib.pyplot as plt

# 데이터 불러오기
sns.set(style="whitegrid")
df = sns.load_dataset('tips')

# lmplot 예시
sns.lmplot(data=df, x='total_bill', y='tip', hue='sex', col='time', palette='muted')
plt.show()

 

(2)Barplot

sns.barplot(x='day', y='total_bill', data=df, palette='Blues')
plt.show()

(3)서브플롯 (FacetGrid / FacetPlot)

g = sns.FacetGrid(df, col="sex", row="time")
g.map(sns.scatterplot, "total_bill", "tip")
plt.show()

(4) Despine (축/테두리 제거)

sns.set(style="whitegrid")
sns.barplot(x='day', y='total_bill', data=df)
sns.despine()
plt.show()

(5) Lineplot

sns.lineplot(x="size", y="tip", data=df)
plt.show()

 

(6) ScatterPlot

sns.scatterplot(x="total_bill", y="tip", data=df, hue="time", style="sex")
plt.show()

(7) CountPlot

sns.countplot(x='day', data=df)
plt.show()

(8) Distplot

sns.distplot(df['total_bill'], kde=True, bins=30)
plt.show()

(9) Kdeplot: 커널 밀도 추정(KDE)을 통해 데이터의 밀도를 시각화

sns.kdeplot(df['total_bill'], shade=True)
plt.show()

(10) Boxplot: 데이터의 분포와 이상치를 시각화하는 상자 그림

sns.boxplot(x='day', y='total_bill', data=df)
plt.show()

(11) Violin Plot

sns.violinplot(x='day', y='total_bill', data=df)
plt.show()

(12) Heatmap

correlation = df.corr()
sns.heatmap(correlation, annot=True, cmap='coolwarm')
plt.show()

(13) PairPlot: 여러 변수 간의 관계를 한 번에 시각화할 수 있는 함수

• 각 변수 간의 산점도와 히스토그램을 그림

sns.pairplot(df, hue="sex")
plt.show()

 

Tuesday (01.14)

오늘의 점심

별점 ⭐️ ⭐️ ⭐️ ⭐️

육전국밥 10000원...

맛있다! 육전 자체가 비싼데, 돈없을때 육전먹고 싶으면 먹으면 딱이다!

https://naver.me/GtU3ugRf

네이버 지도

 

 

판다스에서 열 이름 변경하는 법

https://docs.kanaries.net/ko/topics/Pandas/pandas-rename-column

 

Plotly

• 인터렉티브 그래프 생성
• dict형식으로 명령어 작성
• JSON 형식으로 저장
• 다양한방식으로 Export

 

px.data.tips() # Plotly Express에서 제공하는 내장 데이터셋 불러오는 함수

# include='all'을 사용하여 수치형 데이터뿐만 아니라 범주형 데이터에 대한 요약 통계도 출력
tips.describe(include='all') 
tips.info()
tips.day.unique() # day 컬럼의 고유한(unique) 값들을 반환
tips['size'] # tips 데이터프레임에서 size 컬럼 선택

 

gapminder = px.data.gapminder()

# 산점도 생성
fig = px.scatter(
    gapminder,              # 데이터 이름 (데이터프레임 형식이어야 함)
    x='gdpPercap',          # x축에 표시할 데이터 컬럼 (1인당 GDP)
    y='lifeExp',            # y축에 표시할 데이터 컬럼 (평균 기대 수명)
    color='continent',      # 대륙별 색상 구분
    size='pop',             # 원의 크기로 인구를 표시
    hover_name='country',   # 마우스 오버 시 표시될 최상단 정보 (국가 이름)
    log_x=True,             # x축 로그 스케일 적용
    title='Life Expectancy vs GDP Per Capita - Scatter Plot', # 그래프 제목
    labels={'gdpPercap': 'GDP Per Capita', 'lifeExp': 'Life Expectancy'}, # 축 레이블 변경
    width=800,              # 그래프의 가로 크기
    height=600              # 그래프의 세로 크기
)

# 그래프 출력
fig.show()

이번에는 iris 데이터

px.data.iris()

iris.describe(include='all') #  species_id: 질적변수(문자열, 범주형 - setosa, versicolor, virginica)
gapminder.describe(include='all').T # 행열 전치

iris.columns #컬럼 확인
# 컬럼명 변경
# inplace=True: 원본 데이터프레임을 직접 수정 -> 새로운 데이터프레임을 생성하지 않고 기존 객체 자체가 변함
iris.rename(columns={'sepal_length':'꽃받침길이', 'sepal_width':'꽃받침너비','petal_length':'꽃잎길이','petal_width':'꽃잎너비'},inplace=True)

1) Scatter Plot

facet_row: 지정 컬럼 기준으로 subplot을 그림

fig = px.scatter(tips, x='total_bill', y='tip', color='sex', facet_row='day')

from sklearn.datasets import load_iris

iris = load_iris()
print(iris.DESCR) # 아이리스 데이터셋에 대한 설명을 포함하는 속성

# 대륙별로 색깔을 정함
px.scatter(gap2007, x='gdpPercap', y='lifeExp', color='continent')

#x축을 로그 스케일, 데이터를 기반으로 회귀선 추가 lowess: 로컬 회귀선
px.scatter(gap2007,log_x=True, title='2007년의 대륙별 기대수명', trendline='lowess')

 

2) 산점도 매트릭스(Scatter Matrix): 여러 변수 간의 관계를 한 번에 보기 위해 산점도 매트릭스를 생성하는 함수

각 변수 간의 scatter plot과 대각선 상의 히스토그램을 함께 그려줌

# px.scatter_matrix는 seaborn의 pairplot과 매우 유사한 기능을 수행
px.scatter_matrix(gap2007): gap2007의 모든 변수를 기준으로 산점도 매트릭스를 그린다
px.scatter_matrix(gap2007, ['year', 'pop', 'lifeExp', 'gdpPercap']): 인자를 사용하여 산점도 매트릭스를 그릴 변수들을 지정

 

3) Line Chart

각 아시아 국가의 기대수명이 시간이 흐름에 따라 어떻게 변화하는지를 보여주는 라인 차트

px.line(gapAsia, x='year', y='lifeExp', color='country')

4) 시계열 그래프

<전체기간>

import plotly.express as px
import yfinance as yf

# 삼성전자의 주식 데이터 다운로드
samsung = yf.download('005930.KS', start='2020-01-13', end='2025-01-13')

# 데이터 리셋 및 컬럼 이름 조정
samsung = samsung.reset_index()

# 컬럼의 멀티 인덱스를 1차원으로 변경: 컬럼 이름이 멀티 인덱스(pandas에서 한 열에 두개 이상 인덱스) 형태로 되어 있을 때, 
두 번째 레벨의 인덱스를 제거하여 컬럼 이름을 1차원으로 만드는 작업
samsung.columns = samsung.columns.droplevel(1)  

# 전체 기간에 대한 시계열 그래프
fig = px.line(samsung, x='Date', y='Close', title='Samsung Stock Closing Price Over Time')
fig.show()

<특정기간: range_x>

# 특정 기간(2022년 12월 31일부터 2024년 1월 31일까지)의 시계열 그래프
fig2 = px.line(samsung, x='Date', y='Close', range_x=['2022-12-31', '2024-01-31'], title='Samsung Stock Closing Price from Dec 2022 to Jan 2024')
fig2.show()

 

---

streamlit을 사용해보자

• 가상환경(파이썬) -> 외출용 가방, 여행용 가방 처럼 모든걸 싸들고 가는게 아니라, 목적에 맞는 패키지들만 따로 만들어놓은 임의의 가상환경.
• 이를 파이썬 위에서 돌림

import streamlit as st

# text를 입력하는 검색창 하나 만들기
# anly_list에 있는 글자가 일부라도 들어가면 
# 이미지 리스트에 있는 검색창을 하나 만들어주세요

word= st.text_input("검색하실 애니메이션을 입력하세요")
ani_list = ['짱구는못말려', '몬스터','릭앤모티']
img_list = ['https://i.imgur.com/t2ewhfH.png', 
            'https://i.imgur.com/ECROFMC.png', 
            'https://i.imgur.com/MDKQoDc.jpg']
dict={}
for i in range(len(ani_list)):
    dict[ani_list[i]] = img_list[i]

if not word:
    st.text("No title")
else:
    for ani in ani_list:
        if word in ani:
            st.image(dict[ani], width=1000)

 

Wednesday(01.15)

오늘의 점심

별점 ⭐️ ⭐️ ⭐️ 

낙지덮밥을 먹었다. 

종합분식점 치고는 괜찮은 맛이었는데, 같이 먹은 남해에서 온 친구는 낙지의 신선함이 부족하다고 했다.

역시 바닷가에서 온 친구라 해산물에 대한 기준이 높은것 같다.

물고기 먹고싶으면 창문에서 낚시 해서 먹을 수 있다라는 말이 ...

 

https://naver.me/5Q3CG9gW

네이버 지도

 

Thursday(01.16)

오늘의 점심

별점 ⭐️ ⭐️ ⭐️ ⭐️

미분당은 어느 지점에 가도 항상 중간 이상은 하는 것 같다. 

고기가 정말 넉넉하다 ㅎㅎ

https://naver.me/FnmxD6ue 

네이버 지도

 

 

팀프로젝트 진행

 

이번주 수요일, 목요일은 합쳐서 기록하겠다. 이틀동안 간단한 팀 프로젝트를 진행하였다. (수요일 오후, 목요일 오전)

이번주에 배운 데이터 시각화 툴과 steramlit을 이용하여, 하나의 사이트를 만드는 작업이었다.

5명이서 작업하였고, 개발에는 8시간정도의 시간밖에 없어서 급하게 만들었다.

주제에 대한 포인트를 FISA 수강생들에게 사용하기 적합한 주제로 생각하다가 나온 것이 식당정보를 저장하는 프로젝트였다.

물론, 카카오맵이나 네이버 지도와같은 더 좋은 앱이 존재하지만, 수강생들을 타겟층으로 생각해봤을 때는, 전체 거리가 아닌 상암동 근처 식당 위주로 맞춤형으로 보여주는것이 좋다고 판단하였다.

항상 1시간의 점심시간에, 밥을먹고 돌아와야하는데, 조금 먼 가게를 갈 경우 시간안에 도착하기 애매할때가 있어서, 이 사이트를 참고한다면 좋은 도구로 쓸 수 있을것 같았다.

반별로 어떤 음식점을 많이가고, 교육장소에서 가게까지 얼마나 걸리고, 다른 수강생들은 어디를 갔다왔는지를 한번에 볼 수  있는 맞춤형 사이트를 만들게 되었다.

1. 폼 형식으로 먹고 온 점심을 기록하는 창
2. 반별, 주차별 어떤 식당을 많이 가는지 확인하는 창
3. 교육장소와 가게의 위치를 확인하는 창
4. 다른 수강생들이 갔다온 후기를 확인하는 창

이렇게 4가지로 구성된다. 

이번에 수업에서 배운 대시보드 만드는 부분을 해보고 싶었는데, 다른 부분을 맡아서 해야할 것 같아 팀원들에게 부탁하게 되었다.

내가 맡은 부분은 DB연결 및 구축, 사진 저장에 대한 부분, 지도, 후기에 대한 게시글 이렇게 맡았다.

각 부분을 간단히 설명하면

1. 존재하는 데이터가 아닌 수강생들의 정보를 받아서 해야했기에 DB 사용은 필수 였기에, 정보 저장과 불러오는 작업
2. 사진의 경우 S3에 일반적으로 저장하는데, 클라우드 연결에 있어 트러블 슈팅이 생길거라 판단하여, 사진 자체를 BLOB으로 저장하였다. 현 시점에서 100개 정도의 데이터이기에, DB 접근 시간에서는 큰 문제가 없을거라 판단하였다.
3. 지도는 OSM을 사용했다. 무료인 부분도 있었고, (물론 카카오도 이정도 API 요청은 무료다.) 카카오나 네이버지도의 경우 추가적으로 가져오는 정보가 많다고 느껴서 이를 사용했고, 마커는 Folium 라이브러리를 사용하여 지도에 표시하였다.
4. DB에 저장된 사용자 후기를 텍스트, 사진으로 불러와서 보여주고, 페이지네이션과 오류처리를 하였다.

목요일에 발표를 하게 되었고, 발표직전까지 시간이 부족했던 부분은 2가지였다.

 

트러블 슈팅

내가 겪은 트러블 슈팅만 기록하자면,

    1. 지도를 매핑해야 하는데, '김치도가'라는 식당이 있을 때,"김치도가 상암"은 나오고, "김치도가 상암점"은 안 나오는 문제

OSM의 부족한 부분인것 같다.

    2. 악성유저는 갔다오지 않은 장소를 갔다왔다고 할 것 + 실제로 존재하지 않는 장소를 입력한 경우

금방 처리할 수 있었는데, 이것조차 할 시간이 안되어서 발표끝나고 진행을 해보기로 하였다.

내가 생각한 해결방안은 OSM에 등록된 가게의 경우, 김치도가를 예를 들면 "김치도가 상암", "김치도가 상암점" 이런식으로 어느정도의 형식은 고정되어 있다. 따라서, 이를 딕셔너리 형태로 매핑해서, 

{"김치도가" : "김치도가 상암", "김치도가 상암점" }

이런 방법으로 해결한다면, 실제로 가게가 없거나, 상암이 아니라서 1시간내로 먹고 올 수 없는 가게를 입력한 경우들을 방지할 수 있고, 최대한 많은 가게를 지도에 표시할 수 있을 것 같다. 시간적 여유가 있을 때 해결해 보려고 한다.  1/23 기준 해결완료

발표는 큰 문제 없이 진행했고, 5개정도의 질문을 받았는데, 질문 모두 감안하고 있었던 트러블 슈팅에 대한 부분이었다. 

 

프로젝트를 위한 데이터를 받기 위해서는 슬랙에서 홍보를 해야 했고, 발표 끝나고 커피 추첨을 하였는데, 처음에 팀원이 당첨되어서 좋아하는 모습이 웃겼다.

휴대폰 뒷번호 돌림판에 넣고 돌림판 돌리는데, 번호 나오니까 1초 있다가 "어! 나다" 하는게 어이가 없으면서 웃겼다. (쿠폰은 다시 추첨해서 다른 인원에게 돌아갔다.)

 

이 정도 짧은 시간에 프로젝트를 한 경우가 적어서, 시간에 대한 압박감이 컸다. 그래서 목요일 점심은 정말 대충 먹고 진행 했고, 그래도 마무리를 잘 해야했기에, 책임감을 가지고 마무리 했던 것 같다.

팀원이 고생했다고 해줘서 뿌듯한 프로젝트였다.

 

https://github.com/FISAFOODIE/main

https://fisafoodie.streamlit.app/

 

Friday(01.17)

오늘의 점심

별점 ⭐️ ⭐️ ⭐️ ⭐️

 

JTBC 구내식당에서 식사했다.

6500원이라는 가격에 이정도면 거리가 조금 먼걸 감안하더라도 먹을만 하다.

 

https://naver.me/G1wOEZF8

네이버 지도

 

오늘은 SQL 위주로 배웠다. 간단히 DB에 관한 정리만 하겠다.

데이터베이스 관련 정리: https://koreatstm.tistory.com/156

데이터의 종류

• 정형
• 반정형: json, xml, html, yaml
• 비정형: 텍스트, 이미지

빅데이터: 정형&반정형&비정형

• 특성
  • 다양성
  • 규모
  • 속도
  • 추가로 가치, 변동성,정확성,복잡성

 

• 데이터베이스: 여러 사람이 사용가능한 데이터 집합, 논리적인 개념
• DBMS: 데이터베이스 관리 시스템
• 릴레이션: 행과 열로 구성된 테이블 -> 테이블과 유사하지만, 논리적인 개념에서 '릴레이션'이 더 강조됨. 테이블은 물리적인 객체이므로, 테이블과 릴레이션의 차이는 논리적/물리적 관점의 차이에서 발생
• 테이블: 2차원 형태의 데이터베이스 객체, 표 형태
• 스키마: 데이터베이스 구조를 정의하는 논리적 설계   
• MySQL은 논리적 스키마 계층과 물리적 데이터베이스 계층을 명확하지 않아서 CREATE DATABASE 와 CREATE SCHEMA가 동일하게 동작하여 헷갈린것
• 인스턴스: 스키마에 따라 실제 저장된 데이터 집합

어트리뷰트=열=속성=필드=컬럼

로우=행=튜플=레코드

Data Mart & Data Warehouse & Data Lake

• 데이터 마트: 데이터 웨어하우스의 하위 집합으로, 비즈니스 용도를 위해 정제된 데이터 제공
• 데이터 웨어하우스: DM에 공급할 데이터를  raw data를 가지고 주제별로 저장함이때, 데이터 정제 할 때 버려지는 데이터와 비용이 들어서 DL이라는 새로운 구조가 발생
• 데이터 레이크: raw data를 그대로 가져와 저장, 다양한 형식 지원

DBMS 유형

사용자가 DB에 대한 엑세스를 정의, 생성, 유지, 제어 할 수 있도록 소프트웨어응용프로그램

• 계층적 DBMS: 트리와 같은 구조 → 일대다 관계에 효율적이지만 유연성이 떨어진다.(변경 까다롭고 원하는 정보 찾기 힘들다), 현재는 사용 안함
• 네트워크 DBMS: 다대다 지원, 계층적 DBMS보다는 유연하지만, 설계,관리가 복잡
• RDBMS: 테이블 단위(행&열)로 구성됨, SQL로 조작, 여러 제약조건으로 무결성 존재
• NoSQL(Not Only SQL): 확장성, 분산 저장, 비(반)정형 데이터 처리에  적합, Key Value(Redis), Document(Mongo), Graph(Neo4j), Column Family(Casandra) 종류로 구분되며, 빅데이터에 적합하다.

    



데이터 언어

https://koreatstm.tistory.com/157#3.%20%EB%8D%B0%EC%9D%B4%ED%84%B0%20%EC%96%B8%EC%96%B4-1

 

SQL 연습은 프로그래머스에서 하기 좋다. 이전에 SQLD 준비할 때 풀었었는데, 아직 못 푼 문제들이 있다.

https://school.programmers.co.kr/learn/challenges?tab=sql_practice_kit

이번주 SQL 수업 하는 김에, 남은 20문제를 다 풀어봐야겠다. 

코드는 따로 공유하겠다.