![]()
요즘 LLM 이 유행하면서 빠질 수 없는 기술인 Parallelism 에 대해 정리해보도록 하자! 여러 GPU deivce 를 사용하는 Parallelism (병렬화)은 데이터 parallel 과 모델 parallel 로 나뉘어진다.Parallelism 은 여러 GPU 를 사용해서 하나의 학습과정을 더 빨리 끝내거나 모델이 너무 커서 하나의 GPU에 다 올라가지 않을 때 분할학습을 할 수 있도록 하는 기술이다.전자는 Data Parallel 류의 방법을 사용하고 후자의 경우에는 Model Parallel 류의 방법을 사용한다.(실제로 크게 DP MP 로 나뉘고 그 아래 DDP 나 PP, TP 등 advanced 방법이 포함되어있지는 않지만 그냥 이해를 편하게 하기 위해 이렇게 기재하였다) Data Par..
가장 먼저 한 일은 venv 가상환경 만들기. 하지만 기존에 있는 파이썬 버전과 다른 파이썬 버전의 가상환경을 만들어야 했다. (기존 파이썬 버전 3.8.10 / 필요한 파이썬 버전 3.6.11) 하지만 venv 든 virtualenv 든 다른 파이썬 버전의 가상환경을 만들려면 그 버전의 파이썬이 설치되어 있어야 한다. ** 그렇다면 conda 는 왜 자동으로 여러 파이썬 버전에 대해 가상환경을 잘 만들 수 있었나? → 왜냐하면 conda 는 자기가 알아서 그 파이썬을 (만약에 내가 가지고 있지 않다면) 자동으로 깔아주고 그 후에 가상환경을 만들어줘서 그렇다! 파이썬 설치하기 참조 : Python3.6 설치 Dveamer 현실에서 살고 있지만 이상에 대한 꿈을 버리지 못한 몽상가의 홈페이지 입니다. 개인..
![]()
** 이전 model 과 데이터 등의 선언부분은 다음 포스팅을 참조해주길 바란다!https://mari970.tistory.com/57 HuggingFace 실습(PEFT) : 1. Data허깅페이스를 이용해 PEFT 튜닝 실습을 해보자! 허깅페이스에서 제공하는 PEFT 라이브러리를 사용하여 GPT-2 모델을 prefix tuning 해볼 것이다. prefix tuning 의 개념은 이전에 블로그에서 설명한 글을 참mari970.tistory.com HuggingFace PEFT 학습코드def evaluate(model, eval_loader, device): model.eval() eval_loss = 0 with torch.no_grad(): for step, batch ..
![]()
허깅페이스를 이용해 PEFT 튜닝 실습을 해보자! 허깅페이스에서 제공하는 PEFT 라이브러리를 사용하여 GPT-2 모델을 prefix tuning 해볼 것이다. prefix tuning 의 개념은 이전에 블로그에서 설명한 글을 참조하자! https://mari970.tistory.com/53 참고할 코드는 아래와 같다. https://huggingface.co/docs/peft/task_guides/seq2seq-prefix-tuning Prefix tuning for conditional generation 🤗 Accelerate integrations huggingface.co PEFT 를 이용하여 튜닝을 하는 실습 코드에 대해 포스팅하지만 일반 실습을 하는 사람들도 충분히 도움이 될 수 있는 글이라..
