![]()
** 이전 model 과 데이터 등의 선언부분은 다음 포스팅을 참조해주길 바란다!https://mari970.tistory.com/57 HuggingFace 실습(PEFT) : 1. Data허깅페이스를 이용해 PEFT 튜닝 실습을 해보자! 허깅페이스에서 제공하는 PEFT 라이브러리를 사용하여 GPT-2 모델을 prefix tuning 해볼 것이다. prefix tuning 의 개념은 이전에 블로그에서 설명한 글을 참mari970.tistory.com HuggingFace PEFT 학습코드def evaluate(model, eval_loader, device): model.eval() eval_loss = 0 with torch.no_grad(): for step, batch ..
![]()
허깅페이스를 이용해 PEFT 튜닝 실습을 해보자! 허깅페이스에서 제공하는 PEFT 라이브러리를 사용하여 GPT-2 모델을 prefix tuning 해볼 것이다. prefix tuning 의 개념은 이전에 블로그에서 설명한 글을 참조하자! https://mari970.tistory.com/53 참고할 코드는 아래와 같다. https://huggingface.co/docs/peft/task_guides/seq2seq-prefix-tuning Prefix tuning for conditional generation 🤗 Accelerate integrations huggingface.co PEFT 를 이용하여 튜닝을 하는 실습 코드에 대해 포스팅하지만 일반 실습을 하는 사람들도 충분히 도움이 될 수 있는 글이라..
ggml 뿐 아니라 요즘 사용되는 LLM inference 를 위한 다양한 라이브러리에 대해 정리를 해보자. 1. ggml ggml 은 Georgi Gerganov (러시아 사람) 가 (더 가벼운 언어인) c++/c 로 만든 기계 학습 텐서 라이브러리 이다.⇒ llama 를 일반 컴퓨터에서 inferemce하기위해 파이토치나 gpu 를 사용하지 않고 cpu 에서 llm 을 돌릴 수 있도록 만든 라이브러리. n bit quantization 해서 사용한다.llama.cpp 에서 사용하는 C++ 텐서 연산 라이브러리 이다.해당 라이브러리에서 지원하는 파일 포맷도 ggml이라 부른다. 2. llama.cppC++로 개발된 LLM inference 소프트웨어.초기에는 CPU 를 이용한 LLaMA 모델만을 구동 ..
def foo(x, y): print(x, y) >>> t = (1, 2) >>> foo(*t) 1 2 list 말고 tuple 이나 set 도 가능하다. def foo(x, y): print(x, y) >>> d = {'x':1, 'y':2} >>> foo(**d) 1 2 ** 로 dictionary.를 unpacking 한다고 key 이름이 사라지진 않는다 근데 그러면 어디로 가지..? 그건 모르겠다..
