LLM 관련 논문 정리

** Apple 에서 나온 논문이다https://arxiv.org/pdf/2405.13226 원래 decoder-only 모델을 사용할 때는 1개 문장을 학습할 때 max seq length 만큼 padding 하여 학습하는 방법을 사용한다.하지만 padding 은 학습 비효율성을 매우매우 늘리기 때문에 특히나 LLM 을 학습할 때에는 불리하다.그래서 요즘은 "packing" 이라는 방법을 사용한다.packing 이란 padding 을 하지 않기 위해 다음 문장을 padding 부분에 붙여서 최대한 많은 문장을 학습하는 방법이다.  이 논문은 이러한 packing 을 조금 더 개선한 방법이다. Abstract기존 LLM 이 고정된 seq seq length 를 이용하여 학습하기 위해 다양한 길이의 문장을..

https://arxiv.org/pdf/2309.15217 위 논문은 RAG (Retrival Augmented Generation) 을 평가하는 방법에 대한 논문이다.오늘은 이에 대해 포스팅해보려고 한다.** 시작은 창대하나 끝은 미약한 글이 될 거 같다. method 까지만 정리했기 떄문이다. evaluation 이나 experiment 부분을 보려면 논문을 더 확인하기 바란다. AbstractRAG 를 evaluation 하는 것은retrieval system 이 관련있는 context 를 찾아내는 능력이나 LLM 이 이러한 passage 를 적절하게 사용하는 능력을 평가하는 것이 어렵다는 점,또한 생성된 문장을 평가하는 것 자체가 어렵다는 점 때문에 문제가 있다.RAGAS 에서는 human ann..

Abstract 및 IntroductionLoRA 의 단점은 FT(full fine tuning) 과 비교해서 accuracy gap 이 있다는 것이다.LoRA 와 FT 의 learning capacity 가 차이가 난다는 것인데,이 이유를 weight decomposition analysis 를 제안하고 이를 통해 업데이트 패턴이 LoRA 와 FT 가 다르다는 점을 밝힌다.DoRA 는 weight decomposition 을 통해 LoRA 의 장점인 inference latency overhead 가 없다는 점을 유지하면서 FT 의 성능을 능가할 수 있다.실험결과에 따르면 commonsense reasoning (+3.4/+1.0 on LLaMA-7B/13B), 과 visual instruction t..

https://cameronrwolfe.substack.com/p/llama-2-from-the-ground-up LLaMA-2 from the Ground UpEverything you need to know about the best open-source LLM on the market...cameronrwolfe.substack.com블로그가 Llama-2 모델 설명이 매우 잘되있어서 정리한다. LLaMA Model 구조LLaMa-1 와의 차이점LLAMA-1 에 비하면 더 많은 데이터(2 trillion tokens, 40% 더 늘어)로 pre-training 햇고 더 긴 context length (2k -> 4k, 4096) 를 가지고 더 빠른 inference 를 할 수 있도록 하는 구조(GQ..