Exception has occurred: OSErrorYou are trying to access a gated repo.Make sure to request access at https://huggingface.co/LDCC/LDCC-Instruct-Llama-2-ko-13B-v1.4 and pass a token having permission to this repo either by logging in with `huggingface-cli login` or by passing `token=`.requests.exceptions.HTTPError: 401 Client Error: Unauthorized for url: https://huggingface.co/LDCC/LDCC-Instruct-Ll..
분류 전체보기
** Apple 에서 나온 논문이다https://arxiv.org/pdf/2405.13226 원래 decoder-only 모델을 사용할 때는 1개 문장을 학습할 때 max seq length 만큼 padding 하여 학습하는 방법을 사용한다.하지만 padding 은 학습 비효율성을 매우매우 늘리기 때문에 특히나 LLM 을 학습할 때에는 불리하다.그래서 요즘은 "packing" 이라는 방법을 사용한다.packing 이란 padding 을 하지 않기 위해 다음 문장을 padding 부분에 붙여서 최대한 많은 문장을 학습하는 방법이다. 이 논문은 이러한 packing 을 조금 더 개선한 방법이다. Abstract기존 LLM 이 고정된 seq seq length 를 이용하여 학습하기 위해 다양한 길이의 문장을..
Github fork 사용하기깃허브에는 아래 그림과 같은 버튼이 있다. 다른 깃허브 레포지토리에 있는 소스를 자신의 깃허브 레포지토리로 복사해오는 방법이다.= 보통, ‘fork 한다’ 라고 말한다. fork 하려는 깃허브 레포지토리를 들어가서 위 그림의 오른쪽 상단, Fork 를 클릭하면 복사가 된다. ** 이때 레포지토리 이름을 변경해도 되는지 모르겠어서 그건 안하고 description 만 변경시켰다. 다시 나의 깃허브에 포크된 repository 로 가면 왼쪽 상단 레포지토리 이름에 밑의 그림과 같이 ‘forked from ~’ 이라는 표시가 뜬다. 이 방법은 ‘pull request’ 를 하지 않으면 내 레포지토리에서 변경한 내용이 오리지널 레포지토리에 적용되지 않는다.(또한 실수로 reque..
git merge현재상황 : branch 가 main 과 backend 가 있는 상황인데,백엔드 브랜치의 내용을 main 과 머징하고 싶을 때브랜치가 백엔드인 상태에서 코드를 고친 후git add .git commit -m "Fetch(.py):explain" 위처럼 add 와 commit 만 하여 나의 repository 에 저장만 하고 이후 메인으로 브랜치를 바꾸면 메인 브랜치의 코드로 내가 작성하고있던 코드가 바뀐다.git checkout mainbranch 가 main 인 상태에서 아래와 같이 merge 명령어를 사용하면 된다.벡엔드의 최신커밋을 이용해 머징하는 것이다 git merge backend
