LLM 관련 논문 정리

https://proceedings.neurips.cc/paper_files/paper/2022/file/0cde695b83bd186c1fd456302888454c-Paper-Conference.pdf Few-shot in-context learning (ICL) 은 pre-trained language models (PLM) 이 gradient-based training 없이 unseen task 를 몇 개의 예제만 주고 task 를 풀도록 하는 방법이다. Parameter-efficient fine-tuning (PEFT) 는 작은 파라미터 셋을 학습시켜서 모델이 새로운 태스크에 adapt 하도록 하는 대안법이다. 이 논문에서는 (IA)^3 라고 불리는 새로운 PEFT 방법을 소개하고 T-Few 라고..

[Hugging Face] PEFT에 대해 알아보자 LoRA: LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS Prefix Tuning(2203): P-Tuning v2: Prompt Tuning Can Be Comparable to Fine-tuning Universally Across Scales and Tasks Prompt Tuning(2109): The Power of Scale for Parameter-Efficient Prompt Tuning P-Tuning(2103): GPT Understands, Too 위는 허깅페이스 에서 구현한 PEFT 라이브러리에 포함된 (2302 기준) 방법론 들이다. ** 이거 말고 “prefix tuning” 은 : ..

Language Model 을 크게 만든다고 해서 user 의 의도를 더 잘 따르는 것은 아니다. LM의 안좋은 output 에는 1. untruthful 2. toxic 3. not helpful 이 있다. 이 논문에서는 human 피드백을 이용한 fine-tuning 을 통해 다양한 task 에 대한 user 의 의도를 맞추는 방법을 제시한다. openAI 를 통해 수집한 프롬프트나 labeler(사람) 에 의해 작성된 프롬프트를 시작으로 원하는 모델 동작을 하는 labeler 시연 데이터셋을 모았다. 이를 통해 GPT-3 를 supervised learning 으로 fine-tuning 하는데 사용하였다. 이후 모델 output 에 대한 ranking 을 매겨 human feedback 강화학습을 ..

Roformer: Enhanced Transformer with Rotary Positon Embedding https://arxiv.org/pdf/2104.09864.pdf 에서 처음 제안된 방법이다. Abstract 기존의 PE 는 트랜스포머에서 제안된 방법으로, 시퀀스 내의 토큰을 attention 만으로는 순서 정보를 줄 수 없어서 사용한 효과적인 방법. 이후 다양한 PE 방법이 나왔는데, 이 논문에서는 새로운 Rotary Position Embedding(RoPE) 제안한다. RoPE 는 rotation 행렬을 이용하여 절대 위치를 인코딩하고, self-attention 식에서 relative position dependency (상대 위치 의존성) 정보를 더해준다. 이를 통해 long text..