심재형 교수님의 인공지능융합기반시스템개론 을 정리한다. 인공지능 (특히 딥러닝) 에서 필수적으로 알아야 할 부분은 파이썬으로 짜인 코드 뿐 아니다.거대한 모델을 돌리기 위한 하드웨어 최적화도 매우 중요하다.본 수업에서는 이 하드웨어와 하드웨어를 최적화하기 위한 소트프웨어에 대해 더 자세히 다루도록 한다.즉 이를 AI computing system 이라고 한다. 아래 내용을 수업에서 배울 것이다. AI computing 시스템 : AI 모델을 처리하기 위한 HW + SWFrameworkPytorch, Tensorflow보통 딥러닝 프레임워크에서 → 머신 코드로 번역하는 compile 과정을 거치지않고 이미 pre-compile 된 (런타임)라이브러리를 통해 함수를 호출하여 gpu 에게 넘겨준다.Runtim..
분류 전체보기
vLLM 이란 LLM 이 inference 와 serving 을 빠르게 할 수 있도록 하는 오픈소스 라이브러리이다.PagedAttention 을 사용하여 어텐션의 key 와 value 를 효율적으로 관리한다.모델 구조의 변환없이 기존 허깅페이스 Transformers 보다 24배 빠른 throughput 을 얻을 수 있었다. 📝 KV cache?auto-regressive 모델은 이전 step 에서 생성된 token sequence 를 이용하여 다음 단계 출력을 예측하는 모델로, 주로 transformer decoder 모델이다. KV caching 은 디코더에서만 사용된다. auto-regressive 에서 이전 토큰의 attention 연산이 반복되기 때문이다. KV cache 는 새로 생성된 토큰..
Abstract 및 IntroductionLoRA 의 단점은 FT(full fine tuning) 과 비교해서 accuracy gap 이 있다는 것이다.LoRA 와 FT 의 learning capacity 가 차이가 난다는 것인데,이 이유를 weight decomposition analysis 를 제안하고 이를 통해 업데이트 패턴이 LoRA 와 FT 가 다르다는 점을 밝힌다.DoRA 는 weight decomposition 을 통해 LoRA 의 장점인 inference latency overhead 가 없다는 점을 유지하면서 FT 의 성능을 능가할 수 있다.실험결과에 따르면 commonsense reasoning (+3.4/+1.0 on LLaMA-7B/13B), 과 visual instruction t..
Auto-regressive 모델이 output 을 생성하도록 하는 디코딩 방식에는 여러가지가 있다. 이런 방법을 잘 사용하면 같은 모델로도 더 좋은 문장을 생성할 수 있다. Auto-regressive 모델은 위와 같은 conditional 확률분포를 가지고 token 을 생성한다. T 현재 문장 길이를 의미하고 W_0 는 initial context word sequence 이다. Auto regressive model 의 디코딩 방법 1. Greedy search 가장 기본적으로 토큰을 선택하는 방법으로, 모델이 생성한 logit에서 가장 확률이 높은 토큰을 output으로 뽑는 방법이다. 2. Beam search 위 그림은 beam_size = 2로 설정하였을 때의 그림이다. 위 그림대로 설명하..
