![]()
** Apple 에서 나온 논문이다https://arxiv.org/pdf/2405.13226 원래 decoder-only 모델을 사용할 때는 1개 문장을 학습할 때 max seq length 만큼 padding 하여 학습하는 방법을 사용한다.하지만 padding 은 학습 비효율성을 매우매우 늘리기 때문에 특히나 LLM 을 학습할 때에는 불리하다.그래서 요즘은 "packing" 이라는 방법을 사용한다.packing 이란 padding 을 하지 않기 위해 다음 문장을 padding 부분에 붙여서 최대한 많은 문장을 학습하는 방법이다. 이 논문은 이러한 packing 을 조금 더 개선한 방법이다. Abstract기존 LLM 이 고정된 seq seq length 를 이용하여 학습하기 위해 다양한 길이의 문장을..
![]()
Github fork 사용하기깃허브에는 아래 그림과 같은 버튼이 있다. 다른 깃허브 레포지토리에 있는 소스를 자신의 깃허브 레포지토리로 복사해오는 방법이다.= 보통, ‘fork 한다’ 라고 말한다. fork 하려는 깃허브 레포지토리를 들어가서 위 그림의 오른쪽 상단, Fork 를 클릭하면 복사가 된다. ** 이때 레포지토리 이름을 변경해도 되는지 모르겠어서 그건 안하고 description 만 변경시켰다. 다시 나의 깃허브에 포크된 repository 로 가면 왼쪽 상단 레포지토리 이름에 밑의 그림과 같이 ‘forked from ~’ 이라는 표시가 뜬다. 이 방법은 ‘pull request’ 를 하지 않으면 내 레포지토리에서 변경한 내용이 오리지널 레포지토리에 적용되지 않는다.(또한 실수로 reque..
git merge현재상황 : branch 가 main 과 backend 가 있는 상황인데,백엔드 브랜치의 내용을 main 과 머징하고 싶을 때브랜치가 백엔드인 상태에서 코드를 고친 후git add .git commit -m "Fetch(.py):explain" 위처럼 add 와 commit 만 하여 나의 repository 에 저장만 하고 이후 메인으로 브랜치를 바꾸면 메인 브랜치의 코드로 내가 작성하고있던 코드가 바뀐다.git checkout mainbranch 가 main 인 상태에서 아래와 같이 merge 명령어를 사용하면 된다.벡엔드의 최신커밋을 이용해 머징하는 것이다 git merge backend
.gitignore 파일 생성vi .gitignore # vi파일을 만들어서 # "weight/" 이렇게 폴더 자체를 빼거나 "weight/train_weight.pth" 파일 디렉토리를 써준다 git에 올리고 싶지 않은 폴더를 따로 빼놓고 싶을 때 사용한다. weight 폴더 등 용량 큰 파일이나 보안 상 문제가 되는 파일에 대해 사용할 수 있다. git diffcommit 끼리나 branch 사이에 다른 점 혹은 파일이나 repository의 working directory (내 디바이스의 로컬 디렉토리) 사이의 다른 점을 보여주는 명령어이다. git diff [option] [목적 file name] 위와 같이 사용하여 특정한 파일에 대한 변경사항만 확인하고 싶다면 목적어로 file name 를 넣..
