우리 FISA AI엔지니어링 5주차 과정

Monday(02.03)

 

리눅스와 커널의 개념

• 리눅스: 커널을 기반으로 한 운영체제
• 커널: 운영체제의 핵심으로, 하드웨어와 소프트웨어 간의 상호작용을 관리하고, 인터럽트 처리, 프로세스 관리, 메모리 관리, 파일 시스템 관리, 프로그래밍 인터페이스 제공 등 다양한 중요한 기능을 수행
• 리눅스 커널 자체는 오픈소스로 개발되고, 안전성, 최적화, CLI(명령어 인터페이스) 및 GUI 제공

 

가상화 (Virtualization) 복습

가상화는 여러 프로세스가 컴퓨터 자원을 논리적으로 공유하여 물리적으로 독립된 컴퓨터 환경처럼 보이게 만드는 기술

1. 하이퍼바이저 방식: 여러 개의 독립적인 운영체제를 실행
2. 컨테이너 방식: 호스트 OS의 커널을 공유하여, 여러 애플리케이션을 격리하여 실행

하이퍼바이저의 장단점

• 장점: 완전한 독립적인 운영체제 실행
• 단점: 자원 소비가 큼

컨테이너의 장단점

• 장점: 전체 OS를 부팅할 필요가 없어서 빠르며, MSA 구축이 쉬움
• 단점: 호스트 OS의 커널을 공유하므로 호스트 OS와 다른 게스트 OS 불가, 호스트 OS와 완전히 독립적인 커널 기능을 제공할 수 없고 호스트 OS의 안정성에 의존한다.(호스트 OS문제 시 컨테이너도 영향)

 

도커

LXC(Linux Containers)를 기반으로 하는 도구로, 프로그램과 라이브러리만 격리하여 실행하고, 호스트 OS와 하드웨어 자원을 공하여, 필요한 자원만 사용하고, 효율적인 가상화 환경을 제공

#  ubuntu2 도커 컨테이너에 인터랙티브 모드로 접속하여, bash 셸을 실행 ->  쉘 통해 명령어 입력 및 실행
docker exec -it ubuntu2 /bin/bash

# ubuntu 도커 이미지는 최소 기능 버전 -> 추가 기능 필요 시 보충
unminimize

apt-get update 

# 한 번에 여러 패키지 설치
apt-get install net-tools vim openssh-server ssh sudo info man-db less psmisc nano tzdata cron

 

쉘(Shell)과 커널(Kernel)

진짜 핵심 그림

• 리눅스에서 쉘은 사용자가 명령어를 입력하고, 이를 커널에게 전달하는 인터페이스
• 사용자가 date 명령어를 입력하면, 쉘은 이를 커널에게 전달하여 실행하고 결과를 사용자에게 출력
• 쉘은 커널과 분리되어 있기 때문에, 커널을 변경하지 않고도 쉘만 교체할 수 있는 장점

 

쉘의 종류

• sh → bash → zsh: 시간이 지나면서 사용자가 선호하는 쉘 변경됨
• 로그인 쉘: 사용자 로그인 후 시작되는 쉘

 

슈퍼유저와 일반유저

슈퍼유저:시스템을 관리할 수 있는 권한

• su: 다른 사용자(슈퍼유저 포함)로 전환
• sudo: 비밀번호 없이 슈퍼유저 권한을 임시로 부여

 

리눅스 파일 시스템

리눅스는 모든 것이 파일로 처리됨.

문서, 이미지, 프로그램, 시스템 구성 장치도 파일로 다뤄지고, 이런 파일들을 효과적으로 관리하기 위해 디렉터리 구조를 사용

• /bin: 시스템 실행 파일
• /dev: 디바이스 파일
• /etc: 애플리케이션 설정 파일
• /home: 사용자 홈 디렉터리
• /sbin: 시스템 관리 실행 파일
• /usr: 애플리케이션 실행 파일, 라이브러리, 문서 등
• /var: 변하는 데이터

mount: 여러 디스크가 있을 때 루트 디렉터리에 다른 디스크의 디렉터리를 연결하는 작업

 

리눅스 명령어를 모를 때,  <whatis, info, --help, man > 을 활용하자

 

 

Tuesday(02.04)

오늘의 점심

 

별점 ⭐️ ⭐️ ⭐️ ⭐️ ⭐️

닭갈비와 짜장면이 메뉴였는데, 다른 친구 닭갈비랑 섞어 먹어서 두배로 맛있었다.

 

리눅스 명령어와 철학: "한 명령어는 하나의 동작"

한 명령어는 하나의 동작을 하지만, 원래 리눅스의 철학과 다르게 여러 명령어를 한번에 사용하고 싶다면, -p 를 사용

 

1. 파일 권한과 소유자

• 소유자 (Owner): 파일을 만든 사용자
• 소유 그룹 (Group): 파일을 공유하는 그룹
• 기타 사용자 (Others): 소유자와 그룹 외의 사용자

권한 (rwx)

• r (read): 파일을 읽을 수 있는 권한
• w (write): 파일을 수정할 수 있는 권한
• x (execute): 파일을 실행할 수 있는 권한

# 맨 앞에 l: 심볼릭 링크
lrwxrwxrwx 1 root root 7 Sep 11 14:47 bin -> usr/bin

 

 

 

디렉터리에 t가 표시된 경우는 Sticky Bit를 의미

/tmp와 같은 디렉터리에 사용되며, 다른 사용자가 만든 파일을 삭제하거나 수정할 수 없게하는 명령어

drwxrwxrwt 1 root root 4096 Feb 3 07:54 tmp

 

2. 주요 리눅스 명령어

2.1 파일 관리

• cp : 파일을 복사할 때 사용
  
• cp -r: 디렉터리를 포함한 파일을 복사할 때 사용 (recursive)

cp -r dir1 dir2

• touch: 빈 파일을 만들 때 사용.echo는 빈 파일은 만들 수 없다
  
  • touch는 완전히 빈 파일을 만드는 데 사용되며, 내용이 없고 수정 시간만 갱신하지만
  • echo는 텍스트를 파일에 입력하는 명령어로, 빈 파일을 만들기 위해서는 빈 문자열을 출력해야 하며, 내용이 파일에 들어가게 됨 

touch newfile.txt

 

2.2 파일 검색 및 수정

• grep: 파일 내에서 특정 패턴을 찾을 때 사용
  

grep "sys" /etc/passwd

• find: 조건에 맞는 파일을 검색

find /home -name "*.txt"

+ 리눅스에서 정규식을 사용할 수 있다. grep, sed, awk와 같은 명령어에서 자주 사용한다.

파일 내용 검색:  grep sys /etc/passwd = /etc/passwd에서 sys라는 단어 검색

df(disk free): 파일 시스템별 디스크 사용량 확인

du(disk usage): 디렉터리별로 디스크 사용량 확인

 

2.3 링크 만들기

• 하드 링크: 파일의 물리적인 위치를 공유하는 링크
  
  • 하드 링크로 만든 파일에 대해 어느 것이 원본이고 어느 것이 복사본인지 구분하지 않아도 된다. 양쪽 다 원본 파일이기 때문(inode를 공유)

root@9915b92eaf0a:~# ln file2.txt file3.txt
root@9915b92eaf0a:~# ls -i -l
total 8
1058908 -rw-r--r-- 1 root root 0 Feb  4 02:41 file.txt
1058911 -rw-r--r-- 2 root root 6 Feb  4 02:42 file2.txt
1058911 -rw-r--r-- 2 root root 6 Feb  4 02:42 file3.txt

• 소프트 링크: 다른 파일이나 디렉터리를 가리키는 링크, window의 "바로가기"와 같다.
  

ln -s /path/to/file linkname

 

2.4 파일 내용 수정

• echo: 텍스트 출력 및 파일에 텍스트 추가
  

echo "Hello, World!" >> file.txt

 

3. 쉘과 프로세스 관리

 

3.1 쉘 프로세스

• sh와 bash는 모두 쉘의 종류. sh→bash→sh →bash 이렇게 쉘을 여러 번 실행하면 자식 프로세스가 계속 생성됨

3.2 프로세스 관리

• kill: 프로세스를 종료할 때 사용

kill <PID>

• top: 시스템의 실시간 프로세스를 모니터링
  

kill -9는 강제로 프로세스를 종료할 때 사용되며, 프로세스가 종료되지 않으면 좀비 프로세스가 될 수 있다.

 

4. 쉘 환경과 변수

 

리눅스의 쉘은 사용자가 명령어를 입력하고 시스템과 상호작용할 수 있게 해주는 프로그램

변수, 환경 변수, 그리고 설정 파일들이 중요한 역할

 

4.1 환경 변수와 쉘 변수

• 쉘 변수: 현재 쉘에서만 유효한 변수. 서브쉘이나 새로운 터미널에서 해당 변수 사용 불가

SOME="Hello"  # 쉘 변수 정의
echo $SOME    # 출력: Hello

• 환경 변수: 모든 하위 쉘에서 사용할 수 있는 변수
  • 쉘 변수를 정의하고 export 명령을 사용하면 환경 변수로 바꿀 수 있다.

export SOME="Hello"  # 환경 변수로 설정
export PATH="/usr/local/bin:$PATH"  # 환경 변수 설정

• 반대로 환경변수를 다시 쉘 변수로 변경하기 

export -n SOME       # 환경 변수에서 제거하고 쉘 변수로 되돌림

 

5. awk와 텍스트 처리

 

awk는 텍스트 데이터를 처리하고 분석하는 데 유용

파일 내에서 특정 필드를 선택하거나 조건에 맞는 행을 출력

awk '{ print $2 }' sample.txt  # 두 번째 열 출력

awk '$3 == 25 { print $0 }' sample.txt  # 세 번째 열 값이 25인 행 출력

awk '{ sum += $3; count++ } END { print "Average age:", sum/count }' sample.txt

 

6. 도커 이미지 저장 및 배포

 

리눅스에서 작업한 컨테이너의 상태를 저장하고 도커 허브에 배포할 수 있다.

이렇게 하면 도커 이미지를 도커 허브에 업로드하여 다른 시스템에서도 사용할 수 있게 된다.

docker commit ubuntu ubuntu_study

docker tag ubuntu_study username/ubuntu_study:1.0

docker push username/ubuntu_study:1.0

 

 

7. 명령어 별칭과 history

 

리눅스에서는 명령어에 별칭을 붙여서 자주 사용하는 명령어를 간편하게 실행할 수 있다.

alias와 unalias를 사용하여 별칭을 설정하고 삭제할 수 있다.

alias ll='ls -l'

unalias ll

 

history 명령어는 과거에 실행했던 명령어들을 보여준다.

 

리눅스 공부한 걸 테스트 하기에 좋다고 강사님께서 추천해 주셨다. 꽤 어렵네..

https://cmdchallenge.com/

 

Wednesday(02.05)

사과 바나나 통밀 토스트

https://www.worldbebridge.co.kr/BRUNCH

베브릿지

강추

 

다시 한 번 복습

쉘 변수 → 로컬변수, 환경변수

특정 명령어(export)를 쓰지않으면 다 로컬변수

• env : 환경변수를 보여줌
• set : 로컬변수,환경변수,함수 보여줌

환경변수가 되면, 다른 쉘에서도 확인할 수 있다.

• 시스템 환경설정파일 : root가 수정. 모든 user의 공통 설정 기록
• 사용자 환경설정파일

변수: {}로 표현

>, <, >> : 입출력 redirection (> : 출력 리다이렉션, >>: 누적해서 추가, 2>: 에러메시지 출력)

유닉스 계열 OS에는 주기적이고 반복적 작업을 하기 위한 cron이라는 프로그램이 존재 -> 크론탭으로 예약해서 주기적으로 행동가능

 

Thursday(02.06)

닭가슴살 햄 통밀 토스트

강추

 

1. 파일 관련 명령어

파일 생성, 수정 및 확인

• cat filename.txt → 파일 내용 출력
• echo "Hello" > file.txt → 파일 생성 및 쓰기
• touch filename.txt → 빈 파일 생성 또는 수정 시간 갱신

 

2. 파일 및 디렉토리 권한 관리

• chmod 700 file.sh → 파일의 읽기/쓰기/실행 권한 변경
• chown root:myteam /myteam → 파일의 소유자 및 그룹 변경
• ls -l → 파일 및 디렉토리의 권한 확인

파일 권한은 rwx 형식으로 나타나며, 각 문자는 읽기(r), 쓰기(w), 실행(x)을 의미한다.

예를 들어, chmod 770 /myteam 명령을 실행하면 myteam 그룹 사용자에게 읽기/쓰기/실행 권한을 부여

 

3. 사용자 및 그룹 관리

• useradd -m -G 그룹명 사용자명 → 새 사용자 생성 및 그룹 추가
• usermod -aG 그룹명 사용자명 → 기존 사용자 그룹 추가
• su 사용자명 → 다른 계정으로 전환
• cd /root → 루트 사용자만 접근 가능

예를 들어, su test1 명령어를 실행하면 test1 계정으로 전환할 수 있다.

 

4. 그룹 협업 설정

myteam 그룹 생성 및 사용자 추가

sudo usermod -aG myteam test1
sudo usermod -aG myteam test2
sudo useradd -m -G myteam test3

 

디렉토리 생성 및 소유권 변경

sudo mkdir /myteam
sudo chown root:myteam /myteam
sudo chmod 770 /myteam

 

5. 패키지 관리

리눅스에서는 dpkg와 apt를 이용하여 패키지를 관리할 수 있다.

• dpkg → 개별 .deb 패키지 설치/제거 (의존성 해결 불가)
• apt → 패키지 저장소에서 다운로드 및 자동 의존성 해결

예를 들어,

이전에는 패키지 설치할때 dpkg로 하면, numpy를깔려면 python 수동으로 깔고 numpy로도 깔아야하는데, apt쓰면 한번에 numpy까지 깔아준다. dpkg로 Python 패키지를 설치하면 numpy 같은 의존성을 수동으로 해결해야 하지만, apt는 자동으로 해결하기 때문

sudo dpkg -i package.deb  # 개별 패키지 설치 (의존성 해결 X)

sudo apt install package   # 자동 의존성 해결 후 설치

 

 

6. 파일 다운로드 및 압축 관리

 

• wget URL → 인터넷에서 파일 다운로드. 브라우저에서 파일 다운로드하는 것과 같음
• tar: 파일 묶기 기능만 가능. 압축 기능 없음 -> 압축알고리즘 필요

wget https://example.com/software.tar.gz  
tar -xvzf software.tar.gz  
cd software

확장자	압축 방식	압축 속도	압축률
.tar.gz	gzip	빠름	중간
.tar.bz2	bzip2	느림	높음
.tar.xz	xz	느림	매우 높음

 

프로젝트

 

cron 사용해서 10분 간격으로 깃허브액션 실행해서 주요 코인 시세 업데이트 되도록하였다.

https://github.com/seongjju/coin-api

 

Friday(02.07)

 

드디어 데이터파이프라인의 하나인 ELK Stack에 대해 배운다. (2년을 학수고대함..)

먼저 온프레미스 방식으로 설치 해보자

https://www.elastic.co/downloads/elasticsearch

후에는 클라우드 방식으로 주로 사용할것

ELK Stack: Elasticsearch, Logstash, Kibana으로 구성된 데이터 처리 및 분석 플랫폼

 

REST API

REST 원리를 따른 API로, HTTP URI를 통해 자원을 명시하고 HTTP Method(POST, GET, PUT, DELETE, PATCH)를 사용해 CRUD 작업을 수행

URI로 구분한다: 자원을 URI,URL로 명확하게 식별하고 구분한다는 뜻

URI: 특정 자원의 고유한 주소로, 자원을 식별할 수 있는 주소

ex) 사용자 정보를 요청하는 자원이 있다면, 그 자원을 고유한 URI로 구분가능

• 예: http://example.com/users/123는 사용자 ID가 123인 자원에 대한 URI
• 즉, 자원은 웹에서 다루고자 하는 실체나 정보를 의미하고, URI는 그 자원을 식별할 수 있는 주소 역할

 

RESTful

• REST 원칙을 올바르게 따르는 시스템을 의미
• REST API 설계 규칙을 지키지 않으면 RESTful하지 않다고 할 수 있음(잘못된 상태코드 사용, 삭제 메서드인데 GET 사용 등)

 

Elasticsearch

 

장점

• 오픈소스
• 전문 검색: 특정 인덱스나 필드를 지정하는 대신 여러 인덱스나 필드를 동시에 색인하여, 전체 데이터에서 특정 단어가 포함된 문서를 쉽게 검색 가능
• 통계 분석: 비정형 로그 데이터를 수집하고 중앙에서 이를 처리하여 통계 분석 가능
• 멀티테넌시: 여러 개의 인덱스를 동시에 조회할 수 있으며, 이를 통해 여러 필드에 대해 한 번의 검색으로 결과를 얻기 가능
• 역색인 구조: 역색인 기술을 통해 특정 단어가 포함된 문서의 위치를 빠르게 파악. 문서 전체를 검색하는 대신, 단어가 포함된 문서에 대한 위치를 바로 찾기 가능

 

단점

• 실시간 검색  부족
• 트랜잭션 & 롤백 기능 부족: RDBMS처럼 트랜잭션 처리나 롤백 기능을 제공하지 않아, 데이터 무결성 유지에 제한

 

Saturday(02.08)

 

금융테크실무 09:00 ~18:00

오늘부터 격주단위로 토요일에 금융테크실무를 하게 되었다.

4분이서 각 파트별로 2시간씩 설명해주셨다.

 

• 금융 IT 기초: 우리은행의 역사, 금융관련 용어
• 우리금융 클라우드 서비스: 클라우드 서비스에 대한 전반적인 소개
• 빅데이터 업무 소개
• 표준 개발 프레임워크 소개

아는 내용도 있었고, 처음 들어본 내용도 있었다. 

저 내용에 더불어 자소서 팁, 면접 시 주의 사항 등 당장 사용할 수 있는 꿀팁들도 많이 알려주셨다.

현직자에게 강의를 듣는다는게 정말 귀한 기회였고, 돈으로 환산하기 힘든 값의 경험이었다.

주말임에도 강의 해주신 직원분들께 다시 한 번 감사하다!

 

 

Sunday(02.09)

 

오늘 정보처리기사 필기를 봤다.

76점 합격

성공적

https://koreatstm.tistory.com/241