전체 글

pdb 란 터미널에서 파이썬 디버깅을 할 수 있도록 하는 도구이다. 1줄씩 실행할 수 있다. 한 때 vscode 와 파이참만이 디버깅의 도구라고 생각했는데 영 상황이 안되는 경우 이렇게도 할 수 있다는 걸 알아서 정리한다. Pdb 는 처음 들었을 때는 약간 거부감있었는데 그럴필요 전혀없다 매우 쓰기 쉽다! python3 -m pdb file_name.py 위와 같이 파이썬 파일 file_name.py 를 실행할 수 있다. n : 현재 코드 파일의 다음 줄로 이동 s : "step into" 로, 함수 내부로 들어갈 수 있다. l : 현재 위치 주변의 소스코드를 프린트해준다. 현재 라인은 화살표로 표시해준다. 위는 내가 현재 제일 잘 사용하고 있는 명령어. r : 현재 내가 있는 함수의 return 까지 ..

trainer.train('output/checkpoint-169862') trainer 로 돌렸을 때 중간에 피치 못 할 사정으로 학습이 끊겼다면 위와 같이 원래 돌렸던 output_dir 의 checkpoint 파일을 같은 설정으로 trainer.train() 에 넣어주면 체크포인트를 저장한 epoch (이나 step) 부터 다시 돌기 시작한다! → optimizer 정보를 저장해두는 것이 중요한데, 이 정보는 trainer 에서 자동으로 저장이 된다. checkpoint-###### 파일에서 global_step###### 파일 안에 optim_states.pt 파일 제목으로 저장된다.

Bit Quantization 을 할때 알아야 할 precision 개념을 알아보자.일단 Bit Quantization 이란 computation 과 메모리 cost를 줄이기 위해 모델의 weight 와 activation 를 표현하는 bit 수를 low-precision 으로 표현하는 방법이다.bit 를 이용해 수를 2진수로 표현한다. Float32일반적으로 모델 학습에 사용되는 부동 소수점 default precision 은 32 이다. 그리고 inference 에서는 속도를 높이기 위해서 사용된다고 한다. Float16fp 는 floating point 라는 뜻이고 bf 는 bfloat 이다.bf16은 주로 인공지능 분야에서 사용하는 단위로 모델 학습시 fp32 와 비교했을때 약 50% 정도 메모리..

https://cameronrwolfe.substack.com/p/llama-2-from-the-ground-up LLaMA-2 from the Ground UpEverything you need to know about the best open-source LLM on the market...cameronrwolfe.substack.com블로그가 Llama-2 모델 설명이 매우 잘되있어서 정리한다. LLaMA Model 구조LLaMa-1 와의 차이점LLAMA-1 에 비하면 더 많은 데이터(2 trillion tokens, 40% 더 늘어)로 pre-training 햇고 더 긴 context length (2k -> 4k, 4096) 를 가지고 더 빠른 inference 를 할 수 있도록 하는 구조(GQ..