우리 FISA AI엔지니어링 7주차 과정

Monday(02.17)

 

Docker Compose with network

 

+---------------------------------------------------+
|                  Docker Compose                   |
| +-----------------------------------------------+ |
| |              Elasticsearch Service           | |
| |  - Elasticsearch running in Docker           | |
| |  - Exposes HTTP API to interact with data    | |
| +-----------------------------------------------+ |
| +-----------------------------------------------+ |
| |                Kibana Service                | |
| |  - Kibana running in Docker (UI for ES)      | |
| |  - Web interface to visualize Elasticsearch  | |
| +-----------------------------------------------+ |
| +-----------------------------------------------+ |
| |              Conda Environment (woori-ai)    | |
| |  - Python, ipykernel, streamlit, pandas, etc.| |
| |  - Jupyter Kernel (WOORIAI-KERNEL)           | |
| |  - Custom libraries for your projects        | |
| +-----------------------------------------------+ |
|    ↕                                            | |
| +-----------------------------------------------+ |
| |               Jupyter Notebook               | |
| | - Select Kernel: WOORIAI-KERNEL              | |
| | - Run Python Code                            | |
| +-----------------------------------------------+ |
|    ↕                                            | |
| +-----------------------------------------------+ |
| |                 Streamlit                    | |
| |   - streamlit run <app.py>                   | |
| +-----------------------------------------------+ |
+---------------------------------------------------+

 

• Conda 안에 Jupyter와 Streamlit이 설치되어 있지만, 실제로 실행되는 것은 Conda 환경 내에서 실행되는 것이 아니라, Conda 환경을 사용하는 Jupyter와 Streamlit이다.
• Conda는 환경을 관리하는 도구이고, Jupyter와 Streamlit은 Conda 환경을 사용하는 툴 
• 실제로 Jupyter와 Streamlit은 Conda 환경 내에서 실행되는 것이 아니라, Conda 환경을 통해 실행되는 프로그램이다,
• 즉, Conda는 환경을 제공하고, Jupyter와 Streamlit은 그 환경을 사용하여 작업을 실행하는 구조

 

이때 각 컨테이너끼리 연결하려면 docker network를 구성해야한다.

각 컨테이너는 고유한 네트워크 주소를 가지기 때문에, 기본적으로 서로의 localhost를 통해 직접 접근할 수 없다.

기본적인 동작 방식:

1. 각 컨테이너는 고유한 IP 주소를 가짐
   • Docker에서 컨테이너는 각자 고유한 가상 네트워크 내에서 실행되며, 기본적으로는 다른 컨테이너의 IP 주소를 알지 못한다.
   • 즉, localhost나 127.0.0.1을 통해 다른 컨테이너에 접근하려고 하면, 그 컨테이너와 연결되지 않는다.
2. 기본적으로 동일한 네트워크에 속하지 않는 컨테이너끼리는 서로 통신할 수 없다.

version: "3"

services:
  es1:
    networks:
      - new_network  
      
  kibana:
    networks:
      - new_network 

  anaconda:
    networks:
      - new_network 

networks:
  new_network:  # 네트워크 이름
    driver: bridge  # 기본 네트워크 드라이버

 

 

1. Elasticsearch (직접 HTTP 요청으로 쿼리 작성)

Elasticsearch를 직접 사용할 때는 JSON 기반의 쿼리를 작성하고, HTTP 요청을 통해 Elasticsearch에 전달하여 검색을 실행 

elasticsearch-py 라이브러리를 사용해서 JSON 쿼리를 직접 보내는 방식

from elasticsearch import Elasticsearch
from datetime import datetime

client = Elasticsearch('http://localhost:9200')

# 데이터 인덱싱
INDEX = 'test-index'
doc = {
    'author': '도라에몽',
    'text': '첫번째 글입니다',
    'timestamp': datetime.now(),
}
response = client.index(index=INDEX, id=1, document=doc)
print(response['result'])

 

2. elasticsearch-dsl

elasticsearch-dsl은 위에서 설명한 Elasticsearch Query DSL을 파이썬 코드로 더 간편하게 사용할 수 있도록 도와주는 라이브러리

elasticsearch-dsl을 사용하면 쿼리 작성이 객체 지향적으로 바뀌고, JSON을 직접 작성하지 않아도 된다.

# `match` 쿼리 실행 (직접 JSON으로 쿼리 작성)
query = {
    "query": {
        "match": {
            "author": "도라에몽"
        }
    }
}

# 쿼리 실행
response = client.search(index=INDEX, body=query)
print('검색 결과:', response['hits']['hits'])

 

 

Embedding

 

머릿속 차원 → 일기

Embedding은 원래 어떤 데이터를 다른 차원으로 매핑하는 과정을 의미

머릿속에서 생각하는 복잡한 개념이나 감정이 일기라는 구체적인 형태로 풀어지는 과정

즉, 추상적이고 내적인 생각을 외적인 형태(일기)로 '임베딩(embedding)'하는 것

 

영상으로 사고 → 문자

시각적 이미지를 언어로 변환하는 창작의 과정

 

위상 공간 → 공간

위상 공간은 수학에서 객체들의 연속적인 변형을 다루는 개념

수학적이거나 추상적인 개념을 우리가 물리적으로 경험하는 공간으로 끌어오는 과정

 

Tuesday(02.18)

 

 

 

 

Wednesday(02.19)

 

 

 

 

Thursday(02.20)

 

 

 

Friday(02.21)