분류 전체보기

https://proceedings.neurips.cc/paper_files/paper/2022/file/0cde695b83bd186c1fd456302888454c-Paper-Conference.pdf Few-shot in-context learning (ICL) 은 pre-trained language models (PLM) 이 gradient-based training 없이 unseen task 를 몇 개의 예제만 주고 task 를 풀도록 하는 방법이다. Parameter-efficient fine-tuning (PEFT) 는 작은 파라미터 셋을 학습시켜서 모델이 새로운 태스크에 adapt 하도록 하는 대안법이다. 이 논문에서는 (IA)^3 라고 불리는 새로운 PEFT 방법을 소개하고 T-Few 라고..

[Hugging Face] PEFT에 대해 알아보자 LoRA: LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS Prefix Tuning(2203): P-Tuning v2: Prompt Tuning Can Be Comparable to Fine-tuning Universally Across Scales and Tasks Prompt Tuning(2109): The Power of Scale for Parameter-Efficient Prompt Tuning P-Tuning(2103): GPT Understands, Too 위는 허깅페이스 에서 구현한 PEFT 라이브러리에 포함된 (2302 기준) 방법론 들이다. ** 이거 말고 “prefix tuning” 은 : ..

암호 기초 : 정보 보안 - 암호학위의 유투브 강의를 듣고 정리하였다. Cryptology (암호학) : 많이 사용하는 단어는 아님.cryptography : 암호화(혹은 복호화) 기술cryptanalysis : 암호해독, 암호를 공격하는 입장에서, key 를 모를 때 사용. 암호 체계 (시스템)기본 가정 **공격자는 전체 암호 체계를 잘 알고 있다.즉, 암호 알고리즘(cipher)는 비밀이 아니다.오직 암호화 키 (key) 만이 비밀이다.위의 기본 가정을 Kerckhoffs(키르히호프)’ Principle 이라고 한다.이러한 가정을 하는 이유경험상, 암호 알고리즘(어떻게 암호가 만들어지는가) 이 노출되면 암호화의 기능은 약해진다. (무용지물이 된다)암호화 알고리즘은 결코 비밀이 유지될 수 없다. (결국..

여러 개의 분류기의 prediction 을 결합하여 더 정확한 예측을 도출하는 기법이다. 원래는 Tree 에서 많이 사용되는 알고리즘 Evaluating the prediction of an ensemble typically requires more computation than evaluating the prediction of a single model. 앙상블기법의 예측력을 평가하기 위해서는 일반적으로 단일 모델의 예측을 평가하는 것보다 더 많은 계산이 필요합니다 Voting 여러 개의 분류기 결과를 투표를 통해 최종 결과를 결정하는 방식. 즉, categorical data 일때 전체 모델 중 가장 많은 예측값을 최종 결과로 내놓음. ** Continuous Data 에서는 예측한 값의 평균 av..