Git이란? :분산 버전 관리(히스토리 포인트 저장, 불러오기) 시스템 → 원하는 시점마다 버전을 만들고 동료가 만든 버전으로 이동하거나 동료의 코드를 내 코드에 업데이트할 수 있다. → gui도 있어!master: git init(혹은 git clone)으로 만든 point(branch) → 2110부터 repository의 default branch 이름을 master에서 main으로 바뀐다고 한다. remote: 코드를 올리는 링크 (github, bitbucket, gitlab 등 클라우드, 혹은 회사서버, USB, 내컴) repository : ‘저장소’ 라고 하고 파일이 변경 이력 별로 구분되어 저장됨. Remote Repository : 원격 저장소 전용 서버에서 관리되며 여러 사람이 공유하..
Python 및 Torch 코딩 이모저모
서버에 따라 터미널이 자동으로 꺼지는 시간(리눅스 쉘 접속 시간) 이 설정되어있기도 하다.그럴 때 tmux 도 쥐도 새도 모르게 사라지는데 이때 확인할 수 있는 부분은 tmux 터미널을 만들어 들어간 후echo $TMOUT위와 같이 쳐주면 time out 시간이 얼마나 되는지 확인할 수 있다.나의 경우에는 900 이라고 떴는데, 이는 초 단위라고 한다. 그 후에unset TMOUT이렇게 하면 time out 설정을 없앨 수 있다. 이렇게 하고 다시 echo 를 쳐보면 타임아웃 시간이 사라진것을 확인할 수 있다. *** 이 방식은 tmux 터미널 뿐 아니라 일반 터미널에서도 적용할 수 있다 그런데 이렇게 해도 time out 을 풀지 못할 수도 있는데, 이는 read-only 로 바꿀 수 없게 설정했기 때..
vLLM 이란 LLM 이 inference 와 serving 을 빠르게 할 수 있도록 하는 오픈소스 라이브러리이다.PagedAttention 을 사용하여 어텐션의 key 와 value 를 효율적으로 관리한다.모델 구조의 변환없이 기존 허깅페이스 Transformers 보다 24배 빠른 throughput 을 얻을 수 있었다. 📝 KV cache?auto-regressive 모델은 이전 step 에서 생성된 token sequence 를 이용하여 다음 단계 출력을 예측하는 모델로, 주로 transformer decoder 모델이다. KV caching 은 디코더에서만 사용된다. auto-regressive 에서 이전 토큰의 attention 연산이 반복되기 때문이다. KV cache 는 새로 생성된 토큰..
pdb 란 터미널에서 파이썬 디버깅을 할 수 있도록 하는 도구이다. 1줄씩 실행할 수 있다. 한 때 vscode 와 파이참만이 디버깅의 도구라고 생각했는데 영 상황이 안되는 경우 이렇게도 할 수 있다는 걸 알아서 정리한다. Pdb 는 처음 들었을 때는 약간 거부감있었는데 그럴필요 전혀없다 매우 쓰기 쉽다! python3 -m pdb file_name.py 위와 같이 파이썬 파일 file_name.py 를 실행할 수 있다. n : 현재 코드 파일의 다음 줄로 이동 s : "step into" 로, 함수 내부로 들어갈 수 있다. l : 현재 위치 주변의 소스코드를 프린트해준다. 현재 라인은 화살표로 표시해준다. 위는 내가 현재 제일 잘 사용하고 있는 명령어. r : 현재 내가 있는 함수의 return 까지 ..
