가장 먼저 한 일은 venv 가상환경 만들기. 하지만 기존에 있는 파이썬 버전과 다른 파이썬 버전의 가상환경을 만들어야 했다. (기존 파이썬 버전 3.8.10 / 필요한 파이썬 버전 3.6.11) 하지만 venv 든 virtualenv 든 다른 파이썬 버전의 가상환경을 만들려면 그 버전의 파이썬이 설치되어 있어야 한다. ** 그렇다면 conda 는 왜 자동으로 여러 파이썬 버전에 대해 가상환경을 잘 만들 수 있었나? → 왜냐하면 conda 는 자기가 알아서 그 파이썬을 (만약에 내가 가지고 있지 않다면) 자동으로 깔아주고 그 후에 가상환경을 만들어줘서 그렇다! 파이썬 설치하기 참조 : Python3.6 설치 Dveamer 현실에서 살고 있지만 이상에 대한 꿈을 버리지 못한 몽상가의 홈페이지 입니다. 개인..
분류 전체보기
** 이전 model 과 데이터 등의 선언부분은 다음 포스팅을 참조해주길 바란다!https://mari970.tistory.com/57 HuggingFace 실습(PEFT) : 1. Data허깅페이스를 이용해 PEFT 튜닝 실습을 해보자! 허깅페이스에서 제공하는 PEFT 라이브러리를 사용하여 GPT-2 모델을 prefix tuning 해볼 것이다. prefix tuning 의 개념은 이전에 블로그에서 설명한 글을 참mari970.tistory.com HuggingFace PEFT 학습코드def evaluate(model, eval_loader, device): model.eval() eval_loss = 0 with torch.no_grad(): for step, batch ..
허깅페이스를 이용해 PEFT 튜닝 실습을 해보자! 허깅페이스에서 제공하는 PEFT 라이브러리를 사용하여 GPT-2 모델을 prefix tuning 해볼 것이다. prefix tuning 의 개념은 이전에 블로그에서 설명한 글을 참조하자! https://mari970.tistory.com/53 참고할 코드는 아래와 같다. https://huggingface.co/docs/peft/task_guides/seq2seq-prefix-tuning Prefix tuning for conditional generation 🤗 Accelerate integrations huggingface.co PEFT 를 이용하여 튜닝을 하는 실습 코드에 대해 포스팅하지만 일반 실습을 하는 사람들도 충분히 도움이 될 수 있는 글이라..
ggml 뿐 아니라 요즘 사용되는 LLM inference 를 위한 다양한 라이브러리에 대해 정리를 해보자. 1. ggml ggml 은 Georgi Gerganov (러시아 사람) 가 (더 가벼운 언어인) c++/c 로 만든 기계 학습 텐서 라이브러리 이다.⇒ llama 를 일반 컴퓨터에서 inferemce하기위해 파이토치나 gpu 를 사용하지 않고 cpu 에서 llm 을 돌릴 수 있도록 만든 라이브러리. n bit quantization 해서 사용한다.llama.cpp 에서 사용하는 C++ 텐서 연산 라이브러리 이다.해당 라이브러리에서 지원하는 파일 포맷도 ggml이라 부른다. 2. llama.cppC++로 개발된 LLM inference 소프트웨어.초기에는 CPU 를 이용한 LLaMA 모델만을 구동 ..
