UserWarning: CUDA initialization: Unexpected error from cudaGetDeviceCount(). Did you run some cuda functions before calling NumCudaDevices() that might have already set an error? Error 804: forward compatibility was attempted on non supported HW (Triggered internally at /opt/conda/conda-bld/pytorch_1603729096996/work/c10/cuda/CUDAFunctions.cpp:108.) 나의 경우는 device = torch.device("cuda" if torch...
머신러닝 이모저모
이번 포스팅의 내용은 https://mari970.tistory.com/61 블로그의 내용과 이어진다. dataset 가 source 와 target 으로 이루어져 있을 때 p(y|x) 방식으로 학습시킬 수 있는 방안에 대한 방법론이다. https://github.com/huggingface/transformers/issues/1464 위 링크가 내가 생각했던 문제와 매우 비슷해서 정리한다. (2019 글) 위 issues 에서 화자가 생각하는 question 주제는 모델에 input (”source seq가 포함되어 있는” 이라고 되어있는데, 그건 target 도 같이 넣는다는 의미로 해석) 을 forward 시킬 때 source token 에 대한 loss 는 0 으로 만들어야 하나? 이다. = 이는..
여러 개의 분류기의 prediction 을 결합하여 더 정확한 예측을 도출하는 기법이다. 원래는 Tree 에서 많이 사용되는 알고리즘 Evaluating the prediction of an ensemble typically requires more computation than evaluating the prediction of a single model. 앙상블기법의 예측력을 평가하기 위해서는 일반적으로 단일 모델의 예측을 평가하는 것보다 더 많은 계산이 필요합니다 Voting 여러 개의 분류기 결과를 투표를 통해 최종 결과를 결정하는 방식. 즉, categorical data 일때 전체 모델 중 가장 많은 예측값을 최종 결과로 내놓음. ** Continuous Data 에서는 예측한 값의 평균 av..
위키 피디아의 Bayes' theorem 정리 Pr(A) : 사건 A 의 Prior 사전 확률, 사건 B에 대해 아무 정보가 없음을 의미 Pr(B) : 사건 B 의 Prior 사전 확률 Pr(A|B) : B의 값이 주어졌을 때 A의 Posterior 사후 확률 Pr(B|A) : likelihood **** Potsterior 와 Likelihood 는 식에서의 위치에 따라 값이 달라질 수 있다.** 딥러닝에서의 Bayes’ Rule 보통 딥러닝에서 Potsterior 는 구하고싶은 값으로 사용되고 Likelihood 는 Loss (NLL, MLE) 로 사용된다. 주어진 입력이 x 이고, 모델 파라미터를 w 라고 할때 데이터 x에 대한 predicted y 값을 잘 예측하도록 모델 파라미터를 학습시키고 싶..
