LLM 관련 논문 정리

SOLAR 10.7B: Scaling Large Language Models with Simple yet Effective Depth Up-Scaling 10.7B LLM 이 새로 나왔다.한국(Upstage)에서 나오기도 했고 나오자마자 리더보드에서 1위를 차지했기 때문에 정리해본다.https://arxiv.org/pdf/2312.15166.pdf Abstractup-scale LLM 방식에 영향을 받아 depth up scaling 방식 (DUS) 사용하여 크기를 키운 후 pre training 계속한다.MoE와는 다르게 DUS는 train과 inference 에서 복잡하게 바꿀 필요가 없고 더 작은모델로도 더 좋은 성능을 얻음. 2. Depth Up-Scaling성능 저하를 줄이기 위해 위와 같은 s..

(IA)3 paper 등에서 제시한 Prompt Tuning 의 문제점 : Prompt network 의 initialization 이 성능에 매우 큰 영향을 미친다. 이 문제점이 가장 처음 제기된 논문이다. 기존 Prompt Tuning 의 문제점 모델 capacity 가 증가할수록 프롬프트 튜닝이 파인튜닝에 성능이 근접해간다. 하지만 11B 이하 작은 모델로는 이 두 방법론의 성능 사이에 큰 차이가 존재한다. 이를 해결하기 위해 Source task 로 학습된 프롬프트를 Transfer 에 이용하여 Target task 의 성능을 높일 것을 제안한다. Method (right Fig.) 1개 이상의 source task 에 대해 (frozen model에서) prompt 를 학습하고 이 프롬프트를 초..

Noisy Embedding Fine TUNing : noise 를 추가하는 매우 간단한 방법으로 (instruction) fine-tuning 하는 방법이다. 방법 방법은 위의 알고리즘과 같다. 위의 sudo code 은 학습 과정(fine-tuning) 을 나타낸 것이다. 데이터셋 input 을 X_i 라고 하고 이를 Embedding layer 에 통과시킨 embedded input 을 X_emb 라고 한다. 이 X_emb representation 에 noise e를 Scaling 하여 추가한 후 (나머지) model 에 넣어준다. 이 때 e 는 위의 알고리즘에서 uniform 에서 샘플링한다. 이후 나머지 forward 과정과 back propagation 등은 똑같이 진행된다. 위 과정과 같이..

원래 내가 배울 때는 GPT 는 그냥 Language Modeling task 를 진행하는 모델이었고, BERT 는 masked LM 이었다. 그리고 language modeling 은 다음 token 예측 을 의미했다. 하지만 어느 순간 CLM (Causal Language Modeling) 이라는 단어가 생가서 너무 너무 헷갈렸다… 다시 정리해보자면, Language Model 은 자연어 에 대한 확률 모델이다. 토큰에 확률을 할당하여 token sequence 를 모델링하는 모델이다. A language model is a probabilistic model of a natural language that can generate probabilities of a series of words, bas..