![]()
** 이전 model 과 데이터 등의 선언부분은 다음 포스팅을 참조해주길 바란다!https://mari970.tistory.com/57 HuggingFace 실습(PEFT) : 1. Data허깅페이스를 이용해 PEFT 튜닝 실습을 해보자! 허깅페이스에서 제공하는 PEFT 라이브러리를 사용하여 GPT-2 모델을 prefix tuning 해볼 것이다. prefix tuning 의 개념은 이전에 블로그에서 설명한 글을 참mari970.tistory.com HuggingFace PEFT 학습코드def evaluate(model, eval_loader, device): model.eval() eval_loss = 0 with torch.no_grad(): for step, batch ..
![]()
허깅페이스를 이용해 PEFT 튜닝 실습을 해보자! 허깅페이스에서 제공하는 PEFT 라이브러리를 사용하여 GPT-2 모델을 prefix tuning 해볼 것이다. prefix tuning 의 개념은 이전에 블로그에서 설명한 글을 참조하자! https://mari970.tistory.com/53 참고할 코드는 아래와 같다. https://huggingface.co/docs/peft/task_guides/seq2seq-prefix-tuning Prefix tuning for conditional generation 🤗 Accelerate integrations huggingface.co PEFT 를 이용하여 튜닝을 하는 실습 코드에 대해 포스팅하지만 일반 실습을 하는 사람들도 충분히 도움이 될 수 있는 글이라..
ggml 뿐 아니라 요즘 사용되는 LLM inference 를 위한 다양한 라이브러리에 대해 정리를 해보자. 1. ggml ggml 은 Georgi Gerganov (러시아 사람) 가 (더 가벼운 언어인) c++/c 로 만든 기계 학습 텐서 라이브러리 이다.⇒ llama 를 일반 컴퓨터에서 inferemce하기위해 파이토치나 gpu 를 사용하지 않고 cpu 에서 llm 을 돌릴 수 있도록 만든 라이브러리. n bit quantization 해서 사용한다.llama.cpp 에서 사용하는 C++ 텐서 연산 라이브러리 이다.해당 라이브러리에서 지원하는 파일 포맷도 ggml이라 부른다. 2. llama.cppC++로 개발된 LLM inference 소프트웨어.초기에는 CPU 를 이용한 LLaMA 모델만을 구동 ..
![]()
https://proceedings.neurips.cc/paper_files/paper/2022/file/0cde695b83bd186c1fd456302888454c-Paper-Conference.pdf Few-shot in-context learning (ICL) 은 pre-trained language models (PLM) 이 gradient-based training 없이 unseen task 를 몇 개의 예제만 주고 task 를 풀도록 하는 방법이다. Parameter-efficient fine-tuning (PEFT) 는 작은 파라미터 셋을 학습시켜서 모델이 새로운 태스크에 adapt 하도록 하는 대안법이다. 이 논문에서는 (IA)^3 라고 불리는 새로운 PEFT 방법을 소개하고 T-Few 라고..
