![]()
Exception has occurred: OSError You are trying to access a gated repo. Make sure to request access at https://huggingface.co/LDCC/LDCC-Instruct-Llama-2-ko-13B-v1.4 and pass a token having permission to this repo either by logging in with `huggingface-cli login` or by passing `token=`. requests.exceptions.HTTPError: 401 Client Error: Unauthorized for url: https://huggingface.co/LDCC/LDCC-Instruct..
![]()
SOLAR 10.7B: Scaling Large Language Models with Simple yet Effective Depth Up-Scaling 10.7B LLM 이 새로 나왔다.한국(Upstage)에서 나오기도 했고 나오자마자 리더보드에서 1위를 차지했기 때문에 정리해본다.https://arxiv.org/pdf/2312.15166.pdf Abstractup-scale LLM 방식에 영향을 받아 depth up scaling 방식 (DUS) 사용하여 크기를 키운 후 pre training 계속한다.MoE와는 다르게 DUS는 train과 inference 에서 복잡하게 바꿀 필요가 없고 더 작은모델로도 더 좋은 성능을 얻음. 2. Depth Up-Scaling성능 저하를 줄이기 위해 위와 같은 s..
![]()
Tmux란? VScode 를 사용할 때 불편한 점은 VScode 창이 꺼지면 돌려놨던 애들이 다 꺼져버린다는 것이다…. (어제밤에는 너무 가슴이 아파버렸다) (일반 python finetune.py 으로 돌렸을 때) 이를 방지하기위해 백그라운드로 돌리는 프로그램이다. (screen 과 비슷한 시스템이라고 한다. 사실 screen 이 뭔지도 잘 모른다.) 간단한 tmux 명령어 tmux new -s [seesion 이름] 이렇게 tmux 안에 들어가면 기본적으로 bash terminal 과 똑같기 때문에 “conda activate” 로 conda도 할 수 있다. tmux 를 사용하면 터미널 닫아도 새로 터미널 열어서 돌리던 프로세스를 확인할 수 있다. tmux attach -t [session 이름] t..
UserWarning: CUDA initialization: Unexpected error from cudaGetDeviceCount(). Did you run some cuda functions before calling NumCudaDevices() that might have already set an error? Error 804: forward compatibility was attempted on non supported HW (Triggered internally at /opt/conda/conda-bld/pytorch_1603729096996/work/c10/cuda/CUDAFunctions.cpp:108.) 나의 경우는 device = torch.device("cuda" if torch...
