![]()
Previous 연구 정리 unipelt : a unified framework for parameter-efficient language model tuning 소개영상에서 가져옴. (UNIPELT 는 일단정리안함) 출처 : https://www.youtube.com/watch?v=Cmtvh_2MtGg&t=1612s pelt : adapter, LoRA, prefix learning = language modeling 이 어떻게 효율적으로 fine-tuning 하는가에 대해 해결하기 위해 trainable parameter 수를 (많이) 줄이는 방법론. PELT 는 위 3가지 방법 (Adapter, LoRA, Prefix Learning) 을 모두 사용하는 방법이다. 이 방법들은 항상 pre-train..
![]()
위키 피디아의 Bayes' theorem 정리 Pr(A) : 사건 A 의 Prior 사전 확률, 사건 B에 대해 아무 정보가 없음을 의미 Pr(B) : 사건 B 의 Prior 사전 확률 Pr(A|B) : B의 값이 주어졌을 때 A의 Posterior 사후 확률 Pr(B|A) : likelihood **** Potsterior 와 Likelihood 는 식에서의 위치에 따라 값이 달라질 수 있다.** 딥러닝에서의 Bayes’ Rule 보통 딥러닝에서 Potsterior 는 구하고싶은 값으로 사용되고 Likelihood 는 Loss (NLL, MLE) 로 사용된다. 주어진 입력이 x 이고, 모델 파라미터를 w 라고 할때 데이터 x에 대한 predicted y 값을 잘 예측하도록 모델 파라미터를 학습시키고 싶..
def foo(x, y): print(x, y) >>> t = (1, 2) >>> foo(*t) 1 2 list 말고 tuple 이나 set 도 가능하다. def foo(x, y): print(x, y) >>> d = {'x':1, 'y':2} >>> foo(**d) 1 2 ** 로 dictionary.를 unpacking 한다고 key 이름이 사라지진 않는다 근데 그러면 어디로 가지..? 그건 모르겠다..
https://www.acmicpc.net/problem/15652 15652번: N과 M (4) 한 줄에 하나씩 문제의 조건을 만족하는 수열을 출력한다. 중복되는 수열을 여러 번 출력하면 안되며, 각 수열은 공백으로 구분해서 출력해야 한다. 수열은 사전 순으로 증가하는 순서로 출력해 www.acmicpc.net 자연수 N과 M이 주어졌을 때, 아래 조건을 만족하는 길이가 M인 수열을 모두 구하는 프로그램을 작성하시오. 1부터 N까지 자연수 중에서 M개를 고른 수열 같은 수를 여러 번 골라도 된다. 고른 수열은 비내림차순이어야 한다. 길이가 K인 수열 A가 A1 ≤ A2 ≤ ... ≤ AK-1 ≤ AK를 만족하면, 비내림차순이라고 한다. 비슷한 순열 문제이다. 결과 수열이 '비내림차순' 이라는 조건이 더..
