LLM 관련 논문 정리

AbstractEEVE-Korean-v1.0 이라는 모델을 소개한다.이 모델은 영어와 한국어 text 이해 둘다 좋은 성능을 가지는 한국어 version LLM 이다. 기존의 영어 중심 모델들은 영어에 특화된 tokenizer 를 사용하기 때문에 한국어를 처리할 때 비효율적이다그래서 이 논문에서는 새로운 “어휘 확장 방식”(Vocabulary Expansion) 을 제안한다. 이전 연구들에서는 새로운 언어 임베딩을 학습하려면 수조개의 토큰이 필요하다고 했지만, 이 논문에서는 단 20억개 토큰만으로 비영어 언어 성능을 크게 향상시킬 수 있음을 보여준다. EEVE-Korean-10.8B-v1.0은 2024년 1월 기준 Open Ko-LLM Leaderboard에서 대부분의 instruction-tuned L..

** Apple 에서 나온 논문이다https://arxiv.org/pdf/2405.13226 원래 decoder-only 모델을 사용할 때는 1개 문장을 학습할 때 max seq length 만큼 padding 하여 학습하는 방법을 사용한다.하지만 padding 은 학습 비효율성을 매우매우 늘리기 때문에 특히나 LLM 을 학습할 때에는 불리하다.그래서 요즘은 "packing" 이라는 방법을 사용한다.packing 이란 padding 을 하지 않기 위해 다음 문장을 padding 부분에 붙여서 최대한 많은 문장을 학습하는 방법이다.  이 논문은 이러한 packing 을 조금 더 개선한 방법이다. Abstract기존 LLM 이 고정된 seq seq length 를 이용하여 학습하기 위해 다양한 길이의 문장을..

https://arxiv.org/pdf/2309.15217 위 논문은 RAG (Retrival Augmented Generation) 을 평가하는 방법에 대한 논문이다.오늘은 이에 대해 포스팅해보려고 한다.** 시작은 창대하나 끝은 미약한 글이 될 거 같다. method 까지만 정리했기 떄문이다. evaluation 이나 experiment 부분을 보려면 논문을 더 확인하기 바란다. AbstractRAG 를 evaluation 하는 것은retrieval system 이 관련있는 context 를 찾아내는 능력이나 LLM 이 이러한 passage 를 적절하게 사용하는 능력을 평가하는 것이 어렵다는 점,또한 생성된 문장을 평가하는 것 자체가 어렵다는 점 때문에 문제가 있다.RAGAS 에서는 human ann..

Abstract 및 IntroductionLoRA 의 단점은 FT(full fine tuning) 과 비교해서 accuracy gap 이 있다는 것이다.LoRA 와 FT 의 learning capacity 가 차이가 난다는 것인데,이 이유를 weight decomposition analysis 를 제안하고 이를 통해 업데이트 패턴이 LoRA 와 FT 가 다르다는 점을 밝힌다.DoRA 는 weight decomposition 을 통해 LoRA 의 장점인 inference latency overhead 가 없다는 점을 유지하면서 FT 의 성능을 능가할 수 있다.실험결과에 따르면 commonsense reasoning (+3.4/+1.0 on LLaMA-7B/13B), 과 visual instruction t..