LLM

의문점을 기준으로 정리

 

임베딩을 왜 사용하는가?

 

임베딩은 데이터를 고차원에서 저차원의 의미 공간(semantic space)으로 변환하는 기법
이 과정을 통해 데이터 간 유사성을 수치적으로 계산할 수 있기 때문

• 검색 및 추천: 임베딩이 유사한 항목을 가깝게 배치하므로, 사용자가 검색한 단어나 상품과 의미적으로 가까운 결과를 추천할 수 있다.
• 클러스터링 및 분류: 비슷한 데이터를 자동으로 묶거나 그룹화할 수 있다. 같은 의미의 문장들이 임베딩 공간에서 모이게 된다.
• 이상치 탐지: 다른 데이터와 거리가 먼 임베딩 벡터는 이상치(outlier)로 간주할 수 있다. -> 금융 사기 탐지

 

전이 학습(Transfer Learning)

과거의 머신러닝은 각 문제마다 처음부터 모델을 학습시켜야 했다.

하지만 딥러닝에서는 전이 학습을 통해 이미 대규모 데이터셋에서 학습한 모델을 가져와 재활용할 수 있다.

• 사전학습(Pre-training)
  • 대규모 데이터셋을 사용해 모델을 일반적인 내용을 먼저 학습시킨다.
  • 이미지에서는 선, 점, 패턴 같은 기본 특징을 학습하고, 텍스트에서는 다음 단어 예측처럼 언어의 문맥적 특징을 학습한다.
• 미세 조정(Fine-tuning)
  • 실제 해결하려는 다운스트림 과제(예: 유방암 판별, 텍스트 감성 분석)에 맞춰 모델의 일부를 해당 데이터셋으로 추가 학습한다.
  • 이 과정에서는 데이터가 비교적 적어도 좋은 성능을 낼 수 있다.
•  즉, 모델이 이미 충분한 기본 지식을 갖추고 있으므로 적은 데이터로도 학습할 수 있고, 초기부터 학습하는 것보다 훨씬 빠르고 효율적

---

 

RNN(Recurrent Neural Network)

• 순차적으로 입력되는 텍스트의 단어를 한 단어씩 처리, 과거 입력의 맥락을 하나의 잠재 상태(hidden state)에 압축하여 저장한다.
• 예를 들어, 첫 번째 단어 "검은"을 처리한 뒤 잠재 상태에 저장하고, 두 번째 단어 "고양이"가 들어오면 기존 잠재 상태에 “고양이” 정보를 더해 간다. 이렇게 입력이 계속 늘어나면서 잠재 상태에 전체 맥락이 압축된다.
• 이 잠재 상태를 이용해 다음 단어를 예측한다.
• 장점: 메모리 사용이 적고, 다음 단어를 빠르게 예측할 수 있다.
• 단점
  • 오래된 입력 단어의 의미가 점차 희석되어 긴 문맥을 충분히 담기 어렵다.(기억 소실 문제)
  • 병렬 처리가 불가능해 학습 속도가 느리다.

 

Transformer 아키텍처

• Transformer는 RNN과 달리 입력 텍스트의 맥락을 압축하지 않고 모든 맥락 데이터를 모두 직접 참조(attention 연산) 한다.
• 이 덕분에 긴 문맥도 효과적으로 반영할 수 있어 성능이 크게 향상되는 것이다.
• 반면, 모든 입력을 저장하고 매번 다음 단어 예측 시 전체 맥락을 확인해야 하므로 메모리 사용량과 계산량이 크고 예측 시간이 길어질 수 있다.
• 그러나 Transformer는 병렬 처리 가능해 학습 속도를 높일 수 있어 LLM에서는 트랜스포머를 사용하는 것이다.

 

왜 모델의 크기가 커지고 학습 데이터가 많을수록 모델의 성능이 높아질까 ?

 

• 언어 모델은 학습 데이터를 학습 과정에서 일정한 크기의 모델 파라미터 공간 안에 효율적으로 압축하여 저장한다고 볼 수 있다.
• 모델은 학습 데이터를 손실 압축하면서 중요한 공통 패턴만 남기도록 학습되는데, 모델 크기가 커지면 더 복잡한 패턴을 학습할 수 있지만, 무한대로 커진다고 성능이 항상 좋아지지는 않는다.
  • 손실압축: 데이터 내의 중요한 패턴과 공통점을 추출해 불필요한 부분은 줄이고 핵심 정보만 남기기

• 모델 크기 증가: 큰 모델은 더 많은 파라미터를 가지고 있어, 복잡하고 다양한 데이터 내 패턴과 특징을 더 잘 학습할 수 있다.
• 학습 데이터 증가: 더 많은 데이터를 학습함으로써 모델은 다양한 상황과 변화를 경험하며 일반화 능력이 향상된다.

 

이때, 학습 데이터 크기가 모델 크기의 상한 역할을 한다. 왜 학습 데이터 크기가 모델 성능의 상한이 되는가?

• 학습 데이터 크기가 모델 성능의 상한이 되는 이유는 과적합 문제 때문이다.
  • 과적합: 모델이 학습 데이터에 너무 과하게 맞춰져서, 학습 데이터 내의 노이즈나 세부 정보까지 암기해버리는 현상 
• 과적합일 때, 학습 데이터에서는 성능이 매우 좋지만, 새로운 데이터에서는 일반화가 잘 안 되어 성능이 떨어진다.
• 모델 크기가 크다는 것은 학습할 수 있는 파라미터가 매우 많아서 복잡한 패턴까지 학습 가능하다는 의미인데, 데이터가 충분하지 않으면 이걸 제대로 일반화하지 못하고 학습 데이터에만 과하게 적합하게 된다.
• 그래서 학습 데이터의 크기가 모델 크기에 맞게 충분히 커야만 큰 모델이 제대로 학습되고 좋은 성능을 낼 수 있으며, 데이터가 부족하면 모델 성능 향상의 한계가 생기는 것이다.

 

GPT와 Chat-GPT의 차이는 뭘까?

 

지도 미세 조정 / RLHF 이 그 차이이다.

 

지도 미세 조정 (Supervised Fine-Tuning)

• 사전학습된 GPT 모델에 사용자가 요청하거나 지시한 사항과 그에 적절한 응답을 정리한 지시 데이터셋을 추가 학습하는 과정
• OpenAI는 다수의 데이터 작업자를 고용해, LLM이 받을 수 있는 다양한 질문과 그에 대응하는 적절한 답변을 생성해 놨음
• 사전학습된 모델에 사람의 의도를 반영한 지시 데이터를 추가 학습시켜, 모델 성능을 특정 사용 목적에 최적화하는 핵심 학습 과정

RLHF (인간 피드백 기반 강화학습)

• 여러 모델 출력물에 대해 인간 평가자가 어떤 답변이 더 좋은지 순위를 매긴 후, 그 평가 결과를 보상 신호로 강화학습 한다.
• 모델이 더 인간의 선호와 의도에 부합하는 답변을 생성하도록 학습시키는 과정

정리하면, ChatGPT는 GPT 기반 모델에 사람들이 작성한 지시-응답 데이터로 미세 조정한 데 더해, RLHF를 통해 인간의 피드백을 강화학습에 반영한 것이다. (GPT + 지도 미세 조정 + RLHF)

---

RNN의 근본 문제

 

RNN에서 레이어를 깊게 쌓으면 성능을 높일 수 있지만, 학습 과정에서 기울기 소실 및 폭발 문제가 발생해 학습이 불안정해질 수 있다.

기울기 소실(Gradient Vanishing)이란?

• 역전파 중에 층을 거듭 거치면서 기울기가 점점 작아져 사라지는 현상 
• 이로 인해, 앞쪽 초기 시점에 있는 정보는 뒤쪽 층으로 제대로 전달되지 않고, 긴 시퀀스에서 과거 정보를 학습, 기억하기 어렵다.

 

기울기 폭발(Gradient Exploding)이란?

• 역전파 중 기울기가 지나치게 커져서 가중치가 비정상적으로 크게 업데이트되는 현상
• 이런 경우, 학습 과정에서 불안정한 발산이 발생하고, 모델이 수렴하지 못하게 된다.
• RNN에서는 역전파 과정에서 매 시점마다 같은 가중치 행렬을 반복해서 곱하는 과정이 있는데, 가중치 행렬의 특잇값이 1보다 크면, 이 행렬이 반복적으로 곱해질수록 기울기 값이 지수적으로 커지게 된다.

 

왜 이런 문제가 발생하는가?

• RNN은 순차 데이터에 대해 시간 축을 따라 같은 가중치를 반복해서 사용하는 구조
  • 은닉층에서 시그모이드 함수를 사용하게 되는데, 시그모이드는 입력의 절댓값이 커지면 미분값이 작아지는 특징 때문에, 역전파 시 기울기가 점점 작아져 정보가 전달되지 않는 기울기 소실 문제가 발생한다.
• 이 시퀀스 길이가 길어질수록 연쇄적으로 곱해지는 미분값이 작아지거나 커지면서 문제가 발생한다.

 

해결 및 보완 방법

• LSTM(Long Short-Term Memory), GRU(Gated Recurrent Unit) 같은 게이트 구조가 등장해 기울기 소실 문제를 완화
• 하지만 근본적인 문제를 완벽히 해결하지는 못했고, 긴 시퀀스 처리에 한계
• 트랜스포머는 이런 문제를 셀프 어텐션 메커니즘으로 극복, 모든 단어의 관계를 직접 참조해 성능을 향상 시킨 것이다.

 

LSTM에서는 입력 게이트, 망각 게이트, 출력 게이트를 사용해서 어떤 정보는 기억하고 어떤 정보는 잊을지 결정한다.

GRU는 LSTM보다 게이트 수가 적고 계산이 간단하다.

게이트 구조 덕분에 시퀀스 내 중요한 정보를 더 오래 기억할 수 있어 RNN보다 기울기 소실 문제가 완화된다.

하지만, 이런 구조들 역시 순차적으로 데이터를 처리하는 RNN계열이기 때문에,

• 긴 시퀀스에서는 여전히 이전 정보가 점차 희미해지거나 소실되는 문제가 남아 있고,
• 전체 시퀀스 병렬처리가 어려워 연산이 느리고 비효율적이라는 근본적 한계가 있다.

 

---

 

트랜스포머

 

트랜스포머 아키텍처는 크게 두 부분으로 나뉜다.

 

1. 인코더(Encoder)

• 입력 문장을 받아, 각 단어의 의미를 고차원 공간의 벡터로 변환
• 인코더의 각 층은 셀프 어텐션과 피드포워드 신경망으로 구성
• 셀프 어텐션은 입력 문장 내 단어들이 서로 어떤 관계를 갖는지 계산해 단어 벡터를 조정
• 인코더 층이 여러 개 쌓일수록 더 깊고 정교한 문맥 이해가 가능해진다.
  • 입력 문장 내 모든 단어 간 관계를 다각도로 파악하고 단어 표현을 점진적으로 개선
  • 여러 층이 쌓일수록, 초기 낮은 수준의 단어 간 관계를 넘어서 더 복잡하고 추상적인 문맥 정보를 찾게된다.
  • 또한, 멀티-헤드 어텐션 구조 덕분에 다양한 관점에서 정보가 동시에 처리된다.
• 인코더의 마지막 층 출력은 문장 전체 의미를 압축해 표현한 결과
• 구성
  • 멀티헤드 어텐션: 각 단어가 문장 내 다른 단어와 어떻게 관련되는지를 여러 시각에서 파악
  • 층 정규화: 각 층 출력을 정규화하여 학습 안정성 및 수렴 속도 향상
    • 출력 값들이 비슷한 범위와 분포를 갖게 되면, 모델이 학습 중에 갑작스러운 값 변화나 폭주를 줄이고 좀 더 안정적으로 파라미터를 업데이트 할 수 있다.
  • 피드포워드 층: 완전 연결층으로, 입력 정보의 특성을 추출 및 변환, 문맥 정보를 더 깊이 이해해서 인코더는 마스킹 없이 전체 입력을 활용
• 인코더는 여러 인코더 블록(위 세 부분의 반복)으로 구성되어 복잡한 문장 의미를 점차 정교하게 학습한다.
• 인코더는 마스킹 없이 전체 입력을 활용

 

2. 디코더(Decoder)

• 인코더가 생성한 출력을 받아 문장을 순차적으로 생성
• 디코더도 여러 층으로 구성되고, 셀프 어텐션과 크로스 어텐션, 피드포워드 층을 포함
• 셀프 어텐션은 디코더가 이전에 생성한 단어들을 고려하며 다음 단어를 예측 
  • 마스크 멀티헤드 어텐션: 이전에 생성된 단어들만 참조할 수 있도록 마스킹 처리하여 순차적 생성을 보장 (인과적 마스킹)
  • 크로스 어텐션: 인코더의 출력과 현재 디코더 입력 간 관계 계산
  • 피드포워드 층과 층 정규화: 인코더와 동일하게 문맥 정보를 처리 및 안정화
• 디코더에서는 이전에 생성된 단어만 볼 수 있어서 순차적인 생성이 가능하며, 학습 시에는 완성된 문장 전체를 입력으로 받지만, 추론 시에는 생성된 부분만 참조한다.
• 인코더-디코더 어텐션은 입력 문장과의 연관성을 확인해 의미를 일치 시킨다.
• 디코더는 출력 문장을 한 단어씩 생성

입력 처리 과정

• 입력 문장은 먼저 토큰화 되어 여러 개의 토큰으로 나뉜다.
• 각 토큰은 임베딩 층을 통해 벡터로 변환
• 순서 정보가 사라지지 않도록 각 토큰의 위치 정보를 담은 위치 인코딩을 임베딩에 더하고, 이렇게 만들어진 토큰 임베딩과 위치 인코딩 합이 인코더의 입력이 된다.

 

피드포워드 층

• 인코더와 디코더 모두에 존재하는 완전 연결 층
• 선형 변환, 드롭아웃, 층 정규화, 활성화 함수(ReLU)로 구성
• 전체 입력 문장을 바탕으로 특성을 학습하고 추출하는 핵심 연산 처리 층

 

어탠션

 

어텐션은 사람이 단어를 그 단어 하나만으로 이해하지 않고 주변 단어를 통해 맥락을 추가해서 새롭게 단어를 이해하는 과정에서 착안한 메커니즘이다.

단어와 단어 사이 관계를 계산해서 그 값을 기준으로 관련된 단어를 구분하고, 관련성이 높을 수록 더 많이 맥락을 반영하면 된다.

어텐션은 문장 속 모든 단어가 동등하게 중요하지 않고, 특정 토큰이 주변 단어들 중 어떤 것에 더 많은 주의(attention)를 기울여야 하는지를 동적으로 판단하는 과정

 

어텐션 연산 과정

 

1. 단어와 단어 사이의 관계 계산

• 문장 내 각 단어를 벡터로 표현한 후, 쿼리(Query), 키(Key), 값(Value)로 나눈다.
• 쿼리는 찾으려는 정보를, 키는 문서가 가진 특징을, 값은 실제 단어 정보를 의미한다.
• 쿼리와 키 간의 내적을 통해 단어 사이 관련도를 계산한다. 이 관련도가 높을수록 두 단어는 의미상 밀접하다.
• 이때,이 값들은 음수일 수도 있고 값의 크기 차이가 너무 클 수 있다.

2. 관련도 기반 중요도 반영

• 관련도 점수를 소프트맥스 함수로 정규화하여 가중치로 만든다. (0과 1 사이의 확률 분포로 변환)
  • 확률 분포화: 가중치들이 모두 양수이고 합이 1이 되도록 만들어, 비교에 용이
  • 관련도가 높은 단어에게 더 높은 가중치를 부여하고, 중요도가 낮은 단어는 가중치를 줄임
    
    • 큰 점수 간 차이가 소프트맥스 후에는 더 크게 벌어져서 가장 관련도 높은 단어에 가중치가 부여됨
    • 점수들이 1, 2, 5라고 하면, 지수 함수 적용 후 값은 e의1승 = 2.7, e의2승=7.4, e의5승=148이 된다.
    • 합은 2.7+7.4+148=158.1이고, 각 항의 확률은 약 0.017, 0.047, 0.936
    • 즉, 가장 큰 점수 5는 소프트맥스 후 0.936이라는 매우 큰 가중치를 받고, 1과 2는 아주 작은 가중치를 받게된다.
• 가중치가 큰 단어일수록 더 많이 문맥 정보에 반영되고, 가중치가 작은 단어는 덜 반영된다.

3. 가중치가 반영된 값 벡터 합성

• 각 단어의 값(Value) 벡터에 가중치를 곱해 합산하면, 문맥을 반영한 새로운 단어 임베딩이 생성
• 이를 통해 단어의 표현이 주변 단어와의 관계를 반영해 동적으로 조정된다.

어텐션 점수(쿼리-키 내적) → 소프트맥스 적용 → 확률가중치 생성 → 이 가중치를 값(Value) 벡터에 곱해 합산 → 문맥 반영 단어 임베딩 완성

 

트랜스포머의 어텐션 메커니즘에서 임베딩 벡터를 직접 활용해 단어 간 관련도를 계산하는 방식에 2가지 문제가 발생할 수 있다.

1. 같은 단어의 임베딩이 동일하여 주변 맥락 반영 부족

• 예를 들어 쿼리의 '배(과일)'와 키의 '배(운송수단)'가 같은 임베딩 벡터를 가지게 되어, 이 둘 사이 관련도가 지나치게 크게 계산된다.
• 이 때문에 문맥 변화가 반영되지 않아 주변 단어에 따른 의미 변화(배=과일 or 운송수단)가 제대로 반영되지 않을 수 있다.

2. 간접적 관계 반영 곤란

• 단어의 의미가 유사하거나 반대일 때는 직접적인 관련성은 잘 작동하나, 문법이나 문장 구성에 의해 간접적으로 연결되는 경우는 반영이 어렵다.

해결책: 가중치 행렬 도입 (Wq, Wk, Wv)

• 트랜스포머는 각 토큰 임베딩 벡터에 가중치 행렬(Wq, Wk, Wv)을 곱해 쿼리(Query), 키(Key), 값(Value) 벡터를 생성한다.
  • 딥러닝에서는 기능 개선을 위해 가중치를 도입하여 업데이트한다.
• 이 가중치들은 학습 가능하며, 문맥과 단어 관계를 더 잘 반영할 수 있도록 조정된다.
• 쿼리와 키 간의 관련도 계산 후, 관련도를 통해 값 벡터에 가중치를 곱해 더해 줌으로써, 각 단어 임베딩에 주변 맥락이 적절히 반영된 새로운 임베딩이 만들어진다.

 

 

---

 

멀티헤드 어텐션

• 한 번에 하나의 어텐션 연산만 수행하는 것이 아니라, 여러 개의 어텐션 연산을 병렬로 수행하는 방법
• 즉, 토큰 사이의 관계를 한가지 측면에서 이해하지 않고 여러 측면을 동시 고려하는 것
• 각 어텐션 헤드는 동일한 입력 시퀀스에 대해 조금씩 다른 부분에 주의를 집중하며, 서로 다른 관계 또는 특징을 학습한다.
• 이렇게 여러 시각에서 토큰 사이의 관계를 동시에 파악하면, 모델이 더욱 풍부하고 다양한 문맥 정보를 이해하게 된다.

 

• 어텐션은 각 단어가 주변 다른 단어들과 얼마나 연관되어 있는지를 계산해서 가중치를 부여하는 것이고,
• 멀티헤드 어텐션은 이 어텐션 연산을 여러 개의 헤드로 나누어 병렬로 수행하는 것이다.
• 각 헤드가 입력 단어들에 대해 각각 다른 방식이나 관점에서 어텐션을 계산해, 다양한 관계와 특징을 동시에 포착

 

층 정규화

• 입력 데이터의 분포 차이로 인해 딥러닝 모델이 제대로 학습하지 못하는 문제를 방지하기 위해 정규화 기법 
• 배치 정규화는 배치 간 정규화이며, 주로 이미지 처리에 사용
• 층 정규화는 각 토큰 임베딩 내에서 평균과 표준편차로 정규화하며, 주로 자연어 처리 및 트랜스포머에서 사용
• 자연어 처리에서 넣는 데이터가 토큰마다 다르고 문장 길이가 다르므로 배치 정규화보다는 층 정규화를 사용하여 각 토큰 임베딩 단위로 평균과 분산을 기반으로 정규화
• 적용 시점에 따라 사전 정규화와 사후 정규화두 가지 방식
  • 사전 정규화: 어텐션 계산 전에 정규화 적용
  • 사후 정규화: 어텐션 계산 후 정규화 적용
    
    

 

BERT와 마스킹

• BERT는 자연어 이해(NLU)에 강점이 있다. 인코더만 사용하는 구조
• 입력 문장에서 무작위로 일부 단어를 MASK 토큰으로 가려버리고, 가려진 단어를 맞추는 마스크드 언어 모델링을 학습 목표로 한다.
• 이 과정으로 양방향의 문맥을 모두 활용해 문장 중간의 빈칸을 추론하고 문맥을 이해하는 데에 강점

 

GPT와 단방향 마스킹

• GPT는 자연어 생성(NLG)에 강점이 있다. 디코더만 사용하는 구조
• 입력을 순차적으로 왼쪽에서 오른쪽으로 처리하면서, 앞 단어들만 보고 다음 단어를 예측하는 방식
• 이를 위해 디코더가 단방향으로만 입력을 볼 수 있도록 인과적 마스킹을 적용. 이전 토큰 이후 정보는 보지 못하게 차단해 미래 정보 유출을 막는다.

 

BART, T5: 인코더-디코더 구조와 마스킹

• BART와 T5는 인코더와 디코더를 모두 사용하는 모델
• 인코더는 문장을 전체적으로 이해하고, 디코더는 인코더 정보를 받아 문장을 생성

 

마스킹이 두가지인가?

GPT 등 디코더는 미래 단어를 보지 못하게 순차적으로 마스킹하는 인과적 마스킹을 쓴다.

반면, BERT는 단어 자체를 일부 가리고 그 빈칸을 맞추는 마스크드 언어 모델링임으로, 인코더에 입력되는 전체 문장에는 마스킹된 토큰 자리만 수정이 필요할 뿐, 시퀀스 전체가 인코더에 들어간다.

즉, 디코더에서의 마스킹은 출력 생성을 위한 순차적 제한이고, BERT에서의 마스킹은 입력 데이터 일부를 숨기고 문맥 중간에서 예측을 학습하는 것에 초점이 있다.

---

 

사전 학습 (Pre-training)

• 목적: 다음에 올 토큰의 확률을 계산하는 언어모델 학습
• 방법: 학습 데이터의 일부를 입력으로 넣고 바로 다음에 나오는 정답 토큰을 맞추도록 학습
• 특징: 인과적 언어 모델링 사용

 

지도 미세 조정 (Supervised Fine-tuning, SFT)

목적과 필요성

• 사전 학습 데이터는 형식이 너무 다양함
• 요청-응답 형태의 데이터가 적어서 해당 행동을 잘 배우지 못함
• 사용자의 요청에 적절히 응답하도록 모델을 정렬하기 위함

지시 데이터셋 

• 사용자의 요구사항과 그에 대한 응답(정답)을 구조화한 데이터
• 학습 방식: 사전 학습과 동일하게 다음 단어를 예측하는 인과적 언어 모델링 사용
• "지도 미세 조정"이라는 이름은 학습 방식이 달라서가 아니라 학습 데이터셋의 차이 때문

좋은 지시 데이터셋의 조건

1. 양보다 질: 적은 양이라도 품질이 중요
2. 다양성: 지시사항이 다양한 형태로 구성
3. 고품질 응답: 응답 데이터의 품질이 높을수록 모델 성능 향상
4. 데이터 필터링: 교육적 가치가 낮은 데이터 제거

 

선호 데이터와 보상 모델

선호 데이터셋 구축

• 여러 개의 생성된 응답 중에서 사람이 선택한 더 좋은 응답
• 반대로, 비선호 데이터는 선택되지 않은 덜 좋은 응답
• 이러한 선호 데이터를 쌍 형태로 모아, 어떤 응답이 더 유용하거나 적합한지 비교할 수 있게 한다.

보상 모델

• 선호 데이터셋을 이용해 학습하는 모델로, 생성된 텍스트의 품질을 평가하여 점수를 부여한다.
• 예를 들어, 보상 모델은 선호 데이터와 비선호 데이터를 구분하고, 더 나은 응답에 더 높은 보상을 주도록 훈련
• 이러한 보상 신호는 강화학습 단계에서 활용되어, 모델이 더 인간의 선호에 맞는 출력을 생성하도록 유도

 

왜 선호 데이터와 보상 모델이 필요한가?

• 사전학습과 지도 미세조정만으로는 모델이 반드시 인간이 선호하는 답변을 생성하도록 보장하기 어렵다.
• 다양한 답을 생성할 수 있지만, 질적 차이를 모델이 학습하기 위해서는 명확한 선호 기준과 평가 방법이 필요
• 선호 데이터와 보상 모델은 모델의 출력을 더 정교하게 정렬하는 수단 -> 인간과 유사한 품질의 답변을 생성하는 데 도움

 

사람 피드백을 활용한 강화학습 (RLHF)

 

강화학습 기본 개념

• 에이전트: 행동을 수행하는 주체 (여기서는 언어모델)
• 환경: 상황 맥락
• 행동: 토큰 생성
• 상태: 환경의 현재 상황
• 보상: 행동에 대한 피드백
• 에피소드: 연속적인 행동의 모음

 

LLM에서의 강화학습

• 언어모델이 토큰을 하나씩 생성 (각 토큰 생성이 하나의 행동)
• 전체 텍스트 생성 완료 후 리워드 모델이 평가하고 점수 부여
• 높은 점수를 받도록 학습

 

PPO (Proximal Policy Optimization)

• 보상 해킹 문제: 평가 점수만 높게 받기 위해서 다른 능력이 감소하거나 평가점수만 높게 받을 수 있는  우회로를 찾는 현상
• 해결 방법: 기준 모델(지도 미세 조정 모델)에서 너무 멀어지지 않는 범위에서 높은 점수 추구
• 근접한 범위에서 최적화 수행

 

RLHF의 한계점

1. 리워드 모델 의존성: RLHF를 사용하려면 리워드모델을 학습시켜야 하는데, 리워드 모델 성능이 나쁘면 전체 학습 품질 저하
2. 높은 리소스 요구: 참고 모델, 학습 모델, 리워드 모델 총 3개 모델 필요
3. 학습 불안정성: 강화학습 자체가 하이퍼파라미터에 민감하고 학습이 불안정

 

 

강화학습 없는 대안 방법들

 

기각 샘플링 (Rejection Sampling)

• 여러 생성 결과 중 리워드 모델이 가장 높은 점수를 준 결과만 선택
• 선택된 결과를 LLM의 지도 미세 조정에 사용

 

직접 선호 최적화 (DPO: Direct Preference Optimization)

• 선호 데이터셋을 직접 LLM이 학습하는 방식
• 강화학습 없이도 사람이 선호하는 답변 생성 가능

 

LLM 학습은 사전 학습 → 지도 미세 조정 → 정렬 단계로 진행된다.

정렬 단계에서는 RLHF가 주로 사용되었지만, 복잡성과 불안정성 때문에 DPO와 같은 더 간단한 대안 방법들이 사용된다.

 

---

 

허깅 페이스

 

다양한 트랜스포머 모델과 토크나이저, 데이터셋을 쉽고 편리하게 사용할 수 있도록 지원하는 오픈 소스 라이브러리 

 

허깅 페이스 허브 구성

• 모델 허브: 사용자가 필요한 분야나 언어에 맞는 사전학습 모델을 탐색하고 다운로드할 수 있는 저장소. 모델이 많은 분야에서 얼마나 널리 쓰이고 있는지 등의 정보도 함께 제공
• 데이터셋 허브: 학습 및 평가에 사용할 다양한 공개 데이터셋을 제공하며, 이를 쉽게 불러와 전처리 및 학습에 사용할 수 있도록 지원
• 스페이스: 간단한 코드 몇 줄로 AI 데모를 웹상에서 호스팅할 수 있는 공간을 제공, 데모 공유와 인터랙티브 활용이 가능하다.

 

모델 구조: 바디와 헤드

• 모델 구조를 바디와 헤드로 분리하여 관리한다.
• 같은 바디(예: BERT, GPT) 위에 다양한 헤드(분류, 생성)를 올려 여러 작업에 사용할 수 있게끔 한다.
• 이를 통해 모델 바디는 공통으로 활용하고, 헤드는 필요한 작업에 맞게 교체해 유연하게 사용 가능하다.

 

모델 학습 및 추론 단계

• 데이터 준비: 허깅 페이스의 datasets 라이브러리를 이용해 학습용 데이터를 로드하고 전처리한다.
• 트레이너 API 사용: 추상화된 학습 관리 도구인 Trainer API를 통해 학습률, 배치 크기, 에포크 수 등 하이퍼파라미터 설정 후 학습을 진행한다. 추상화 덕분에 학습 과정이 간편하며, 내부 동작은 파악하기 어려울 수 있지만 초보자도 쉽게 사용할 수 있다.
• 학습된 모델 업로드: 학습 완료 모델을 허브에 업로드해 공유하거나, 다른 환경에서 재사용할 수 있다.
• 모델 추론: 학습된 모델과 토크나이저를 불러와 사용자 입력에 대해 예측 또는 생성 작업을 수행한다.
  
  

 

 

LLM 캐시

• 일치 캐시
  • 저장된 응답과 똑같은 프롬프트가 들어오면, 이전 저장된 답변을 즉시 반환
  • 파이썬의 딕셔너리 구조처럼 키-값 쌍으로 구현할 수 있다.
• 유사 검색 캐시
  • 프롬프트를 임베딩으로 변환해 벡터 데이터베이스에서 유사한 임베딩을 검색한 후, 가장 비슷한 이전 응답을 재사용
  • 완전히 같은 요청이 아니더라도 비슷한 질문에 대해 캐시된 결과를 활용할 수 있어 효율성이 높다.

 

llm 성능 최적화 및 효율화

 

GPU 효율적인 학습을 위한 두 가지 주요 기술인 LoRA와 양자화

 

1. LoRA (Low-Rank Adaptation)

LoRA는 LLM 미세조정 시, 기존 모델의 가중치를 그대로 동결 시키고, 저차원 행렬 두 개를 추가하여 모델을 경량화하며 효율적으로 튜닝하는 기술

장점: 전체 파라미터의 1% 미만만 학습(LoRA는 기존 모델의 파라미터를 고정시키고, 아주 작은 추가 매개변수만 학습)하여 학습 속도와 메모리 효율 높음 -> 큰 모델을 자원 제한 상황에서 빠르고 경제적으로 튜닝 가능 

 

2. 양자화 (Quantization)

양자화는 모델 가중치와 활성화 함수 출력값을 32비트 부동소수점에서 8비트 혹은 그 이하의 낮은 정밀도 값으로 변환해 모델 크기와 연산 비용을 줄이는 기술

양자화를 사용하는 이유

• 모델 경량화: 32비트 부동소수점 대신 8비트 등 저비트 정밀도를 사용하여 모델 크기를 작게 만든다.
• 추론 속도 향상: 가벼운 연산으로 GPU, CPU, 모바일, 엣지 기기에서 빠르게 실행할 수 있다.
• 배포 및 운영 효율성: 대규모 모델을 제약된 자원 환경에서도 사용할 수 있게 만들어, 실제 서비스 적용에 유리하다.

 

3. 최신

• QLoRA: LoRA와 양자화를 결합한 기법, LoRA의 저차원 튜닝과 양자화를 동시에 적용해 더욱 적은 메모리로 튜닝 가능
• PEFT(Parameter-Efficient Fine-Tuning): LoRA도 이 범주에 속하며, 전체 파라미터 대신 일부만 효율적으로 조정하는 미세조정 기법 

 

 

---

벡터 DB

 

• 임베딩 벡터를 저장, 관리하며, 벡터 간 거리 계산을 통해 유사하거나 관련된 데이터를 빠르게 검색하는 데 특화된 데이터베이스
• 비슷한 데이터는 가깝고, 다른 데이터는 멀리 위치하게 되는 임베딩 벡터의 특징을 통해 사이간 거리를 계산해서 비슷한 데이터를 찾을 수 있다.

 

1. 임베딩 벡터 저장: 데이터를 임베딩 모델을 통해 벡터로 변환하면, 이 벡터를 데이터베이스에 저장한다.
2. 유사성 검색: 쿼리를 임베딩하여 쿼리 벡터와 데이터베이스의 벡터 간 거리를 계산한다.
3. 검색 결과 반환: 쿼리 벡터와 거리가 가까운 데이터(유사성 높은 데이터)를 반환해준다. 

 

벡터DB 검색 알고리즘

• KNN(K-Nearest Neighbor) 검색
  • 쿼리 벡터에 대해 저장된 모든 벡터와의 거리를 계산해 가장 가까운 K개의 벡터를 반환한다.
  • 검색하려는 모든 데이터를 조사하기 때문에 정확하지만 데이터가 커질수록 연산량 급증, 확장성에 한계가 있다.
• ANN(Approximate Nearest Neighbor) 검색
  • KNN의 속도 문제를 해결하기 위해 일부 정확도를 희생하면서 훨씬 더 빠른 탐색이 가능한 방법
  • ANN은 거리를 비교할 후보를 줄여 검색 속도를 높이고, recall(재현율)과 속도의 균형에 집중한다.

 

성능지표

• 색인 단계: 메모리 사용량, 색인 구축 시간.
• 검색 단계: 검색 시간, 재현율(실제 정답이 예측 정답에 얼마나 포함되었는지)
• 파라미터 설정: 속도와 정확도를 절충하는 파라미터 설정이 중요하다.
  • 구조, 파라미터에 따라 recall을 높이거나 속도를 더 빠르게 할 수 있다.