우리 FISA AI엔지니어링 7주차 과정

Monday(02.17)

 

Docker Compose with network

 

+---------------------------------------------------+
|                  Docker Compose                   |
| +-----------------------------------------------+ |
| |              Elasticsearch Service           | |
| |  - Elasticsearch running in Docker           | |
| |  - Exposes HTTP API to interact with data    | |
| +-----------------------------------------------+ |
| +-----------------------------------------------+ |
| |                Kibana Service                | |
| |  - Kibana running in Docker (UI for ES)      | |
| |  - Web interface to visualize Elasticsearch  | |
| +-----------------------------------------------+ |
| +-----------------------------------------------+ |
| |              Conda Environment (woori-ai)    | |
| |  - Python, ipykernel, streamlit, pandas, etc.| |
| |  - Jupyter Kernel (WOORIAI-KERNEL)           | |
| |  - Custom libraries for your projects        | |
| +-----------------------------------------------+ |
|    ↕                                            | |
| +-----------------------------------------------+ |
| |               Jupyter Notebook               | |
| | - Select Kernel: WOORIAI-KERNEL              | |
| | - Run Python Code                            | |
| +-----------------------------------------------+ |
|    ↕                                            | |
| +-----------------------------------------------+ |
| |                 Streamlit                    | |
| |   - streamlit run <app.py>                   | |
| +-----------------------------------------------+ |
+---------------------------------------------------+

 

• Conda 안에 Jupyter와 Streamlit이 설치되어 있지만, 실제로 실행되는 것은 Conda 환경 내에서 실행되는 것이 아니라, Conda 환경을 사용하는 Jupyter와 Streamlit이다.
• Conda는 환경을 관리하는 도구이고, Jupyter와 Streamlit은 Conda 환경을 사용하는 툴 
• 실제로 Jupyter와 Streamlit은 Conda 환경 내에서 실행되는 것이 아니라, Conda 환경을 통해 실행되는 프로그램이다,
• 즉, Conda는 환경을 제공하고, Jupyter와 Streamlit은 그 환경을 사용하여 작업을 실행하는 구조

 

이때 각 컨테이너끼리 연결하려면 docker network를 구성해야한다.

각 컨테이너는 고유한 네트워크 주소를 가지기 때문에, 기본적으로 서로의 localhost를 통해 직접 접근할 수 없다.

기본적인 동작 방식:

1. 각 컨테이너는 고유한 IP 주소를 가짐
   • Docker에서 컨테이너는 각자 고유한 가상 네트워크 내에서 실행되며, 기본적으로는 다른 컨테이너의 IP 주소를 알지 못한다.
   • 즉, localhost나 127.0.0.1을 통해 다른 컨테이너에 접근하려고 하면, 그 컨테이너와 연결되지 않는다.
2. 기본적으로 동일한 네트워크에 속하지 않는 컨테이너끼리는 서로 통신할 수 없다.

version: "3"

services:
  es1:
    networks:
      - new_network  
      
  kibana:
    networks:
      - new_network 

  anaconda:
    networks:
      - new_network 

networks:
  new_network:  # 네트워크 이름
    driver: bridge  # 기본 네트워크 드라이버

 

 

1. Elasticsearch (직접 HTTP 요청으로 쿼리 작성)

Elasticsearch를 직접 사용할 때는 JSON 기반의 쿼리를 작성하고, HTTP 요청을 통해 Elasticsearch에 전달하여 검색을 실행 

elasticsearch-py 라이브러리를 사용해서 JSON 쿼리를 직접 보내는 방식

from elasticsearch import Elasticsearch
from datetime import datetime

client = Elasticsearch('http://localhost:9200')

# 데이터 인덱싱
INDEX = 'test-index'
doc = {
    'author': '도라에몽',
    'text': '첫번째 글입니다',
    'timestamp': datetime.now(),
}
response = client.index(index=INDEX, id=1, document=doc)
print(response['result'])

 

2. elasticsearch-dsl

elasticsearch-dsl은 위에서 설명한 Elasticsearch Query DSL을 파이썬 코드로 더 간편하게 사용할 수 있도록 도와주는 라이브러리

elasticsearch-dsl을 사용하면 쿼리 작성이 객체 지향적으로 바뀌고, JSON을 직접 작성하지 않아도 된다.

# `match` 쿼리 실행 (직접 JSON으로 쿼리 작성)
query = {
    "query": {
        "match": {
            "author": "도라에몽"
        }
    }
}

# 쿼리 실행
response = client.search(index=INDEX, body=query)
print('검색 결과:', response['hits']['hits'])

 

 

Embedding

 

머릿속 차원 → 일기

Embedding은 원래 어떤 데이터를 다른 차원으로 매핑하는 과정을 의미

머릿속에서 생각하는 복잡한 개념이나 감정이 일기라는 구체적인 형태로 풀어지는 과정

즉, 추상적이고 내적인 생각을 외적인 형태(일기)로 '임베딩(embedding)'하는 것

 

영상으로 사고 → 문자

시각적 이미지를 언어로 변환하는 창작의 과정

 

위상 공간 → 공간

위상 공간은 수학에서 객체들의 연속적인 변형을 다루는 개념

수학적이거나 추상적인 개념을 우리가 물리적으로 경험하는 공간으로 끌어오는 과정

 

Tuesday(02.18)

 

오늘은 옆자리 동기랑 둘이서 ai를 이용한 서비스를 만들어 봤다.

 

https://github.com/seongjju/whoareyoumeow

GitHub - seongjju/whoareyoumeow: How to distinguish a cat using ai

 

고양이 품종 예측 웹 애플리케이션 만들기 

 

사용자가 업로드한 고양이 사진을 바탕으로 고양이 품종을 예측해주는 웹 애플리케이션을 만들어봤다.

고양이 사진을 찍거나 파일로 업로드하면, 학습된 모델을 통해 고양이 품종을 예측하고 그 결과를 시각적으로 보여준다.

 

 

Wednesday(02.19)

 

통계 - 기술통계, 추론통계

 

기술통계

• 수집한 데이터를 요약, 묘사, 설명하는 통계 기법
• 자료의 요약된 정보를 대푯값(Representative value)으로 표현

자료의 자세한 정보는 확인할 수 없다 -> 자료의 세세한 정보는 통계의 관심사가 아니다.

• 중심에 대한 통계
• 산포에 대한 통계
• 관계에 대한 통계
• 형태에 대한 통계

 

정규화와 표준화는 목표와 변환 방식에서 근본적으로 다르다.

1. 정규화 (Normalization)

• 목표: 데이터를 특정 범위로 변환 (0~1)
• 변환 방식: 데이터를 최소값과 최대값을 기준으로 변환 
• 결과: 0과 1 사이의 값으로 변환. 데이터가 너무 큰 값이나 작은 값의 영향을 덜 받게 됨

df_normal = (df - df.min()) /  (df.max() - df.min())

2. 표준화 (Standardization)

• 목표: 데이터를 평균 0, 표준편차 1인 분포로 변환
• 변환 방식: 데이터에서 평균을 빼고 표준편차로 나누는 방식으로 변환
• 결과: 평균이 0, 표준편차가 1인 분포로 변환되며, 데이터는 특정 범위에 묶이지 않음
• 자료들의 분포가 다르면, 비교가 힘들고, 정규분포가 아니면 최선이 아닐 수 있다.

z1 = (df.length - mean) / np.std(df.length)

z2 = (df.weight - df.weight.mean()) / np.std(df.weight)

z점수: 표준화 된 값

관계에 대한 통계

• 자료와 자료간의 관계를 나타내는 수치

상관관계, 공분산, 인과관계

공분산 계산시 자유도로 인해 n-1로 계산해야한다 , 상관성은 pair_plot()으로 확인

형태에 대한 통계

추론통계

표본을 통해서 모집단의 평균은 알 수 없지만, 추측은 가능하다.

모집단은 시간이 지나면서 변하기 때문에, 표본이 모집단을 완벽하게 설명할 수 없다.

추정은 추론통계의 한 부분

추정은 추론통계의 한 부분으로, 모집단에 대한 특정 값(예: 모집단 평균, 분산 등)을 추정하는 구체적인 과정

시행을 무한히 할 수록 모집단의 분포에 가까워진다.

 

Thursday(02.20)

 

분류 알고리즘

 

점곱(Dot product)은 두 벡터 간의 연산에서 스칼라 값을 생성

 

• 퍼셉트론은 성공과 실패만 구분할 수 있다.
• 퍼셉트론은 이진 분류 문제를 해결하는 알고리즘으로, 두 개의 클래스를 구분하는 모델. 퍼셉트론은 성공과 실패, 즉 클래스 1과 클래스 2를 구분하는 방식으로 작동합니다.
• 퍼셉트론 결정함수로 뭘 만드는건데 -> 퍼셉트론의 결정 함수는 입력 벡터와 가중치 벡터의 점곱을 기반으로 출력 값을 계산하고, 그 결과에 대해 활성화 함수를 적용하여 최종 출력을 구한다.
• 결정 함수는 분류 경계를 정의하는데 사용. 이 경계는 입력 공간을 두 클래스로 나누는 선형적인 경계를 만들게 됨

분류 경계를 정의하기 위해 출력값에 활성화 함수를 적용

하이퍼 파라미터: 파라미터를 변경하는 방법을 조율하기위해 개발자가 파라미터 추가, eta. epoc, batch_size 등

 

저번주에 이어 이번주도 학습일지 챌린지에 우수작성자료 당첨되었다.

2주연속 받은사람은 내가 처음인것 같은데 ㅎㅎ

꾸준히 공부하고 정리하자

 

Friday(02.21)

 

오늘은 중간에 졸업식에 갔다왔다.

나는 이번학기는 유예를 했지만, 친구들은 졸업을 하니까 축하해 주기위해 학교에 들렸다.

같이 공부한 친구들이 학위복을 입고 있는데, 나만 코트 입고 있으니까 싱숭생숭했다.

축하해주러 와줘서 고맙다고 고기 사줘서, 맛있게 먹고 다시 FISA로 돌아가서 공부하고, ADsP 준비를 했다.

그래도 할건 해야지

 

Saturday(02.22)

https://koreatstm.tistory.com/251

ADsP 후기

 

오늘은 ADsP 시험과 FISA 금융테크실무를 들었다.

원래 09:00 ~ 13:00, 14:00~18:00 이렇게 듣는 수업인데, 10시에 adsp 시험이 있어서 오전수업은 못듣게 되었다.

다행히 나에게 더 필요한 강의가 오후파트였고, 필요한 내용들을 많이 얻어갈 수 있었다.

 

아!!

이번이 2주전에 이어서 두번째 특강인데, 저번 특강때 퀴즈를 맞췄었다.

그 때 현직자분이 질문하신 것에 대해서 내가 알던 부분이라 답을 하니, 상품을 주셨었다.

비쵸비 받았는데, 단 거 별로 안좋아 해서, 주위 친구들 다 나눠줬었는데, 오늘도 어쩌다 보니 답을 맞추게 되었다...

또 애들 줘야겠다.

🎉🤩🤩🤩🎉

기본적으로 이번주는 강의 자체에는 많은 비중을 두지 못했다.

기존 사용하던 EC2 인스턴스를 다른 계정으로 마이그레이션 했고, adsp 준비, 세미나 준비를 하느라 시간이 너무 빡빡했다.

무엇보다 이번주부터 본가에서 통학하게 되었는데, 기상시간과 FISA에서 집에가는 시간이 아직 적응이 안되어서 힘들었던 부분이 있었다.

세미나까지 깔끔하게 마무리 짓고, 휴식하는 시간이 필요할듯 하다 ... 이번주는 조금 지치네