![]()
나의 경우에는 cuda 12.3 → 12.1 1. 기존의 cuda 는 지운다.apt-get --purge remove "*cublas*" "cuda*" "nsight*" ** nvidia* 를 지우면 그래픽 드라이버도 지워버리기 때문에 드라이버는 유지시 지우지 않는다. 2. 재부팅한다.sudo reboot 3. 필요한 cuda version 을 cuda 사이트에서 찾는다. 다른 블로그에서는 deb(local) 로 선택하여 맨 마지막 명령어를sudo apt-get -y install cuda-[버전] 이렇게 바꾸라고 하는데, 나의 경우에는 원하는 [버전] 에 대한 파일을 설치할 수 없었다.runfile(local) 이 더 쉽게 설치할 수 있다고 하여 이를 통해 설치한다. → 이렇게 설치된 쿠다는 보통 /u..
![]()
Abstractconventional MoE 에서 N 개 expert 에서 top-K 를 사용하는 방식은 expert specialization 에서 어려움이 있다.즉 각 expert 들이 overlapped 되지않은 지식을 학습할 수 있어야 한다.그래서 이 논문에서는 이 기능을 강화한 DeepSeekMoE architecture를 제안한다. 2가지 주요 방법을 제안하는데, expert 를 flexible combination 하게 사용할 수 있도록 한다.Ks 개의 shared expert 를 분리하여 common knowledge 를 학습하도록 하고, routed experts 사이의 redundancy 를 줄인다. IntroductionMoE 장점 : computational cost 를 유지하면서 ..
