분류 전체보기

ggml 뿐 아니라 요즘 사용되는 LLM inference 를 위한 다양한 라이브러리에 대해 정리를 해보자. 1. ggml ggml 은 Georgi Gerganov (러시아 사람) 가 (더 가벼운 언어인) c++/c 로 만든 기계 학습 텐서 라이브러리 이다.⇒ llama 를 일반 컴퓨터에서 inferemce하기위해 파이토치나 gpu 를 사용하지 않고 cpu 에서 llm 을 돌릴 수 있도록 만든 라이브러리. n bit quantization 해서 사용한다.llama.cpp 에서 사용하는 C++ 텐서 연산 라이브러리 이다.해당 라이브러리에서 지원하는 파일 포맷도 ggml이라 부른다. 2. llama.cppC++로 개발된 LLM inference 소프트웨어.초기에는 CPU 를 이용한 LLaMA 모델만을 구동 ..

https://proceedings.neurips.cc/paper_files/paper/2022/file/0cde695b83bd186c1fd456302888454c-Paper-Conference.pdf Few-shot in-context learning (ICL) 은 pre-trained language models (PLM) 이 gradient-based training 없이 unseen task 를 몇 개의 예제만 주고 task 를 풀도록 하는 방법이다. Parameter-efficient fine-tuning (PEFT) 는 작은 파라미터 셋을 학습시켜서 모델이 새로운 태스크에 adapt 하도록 하는 대안법이다. 이 논문에서는 (IA)^3 라고 불리는 새로운 PEFT 방법을 소개하고 T-Few 라고..

[Hugging Face] PEFT에 대해 알아보자 LoRA: LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS Prefix Tuning(2203): P-Tuning v2: Prompt Tuning Can Be Comparable to Fine-tuning Universally Across Scales and Tasks Prompt Tuning(2109): The Power of Scale for Parameter-Efficient Prompt Tuning P-Tuning(2103): GPT Understands, Too 위는 허깅페이스 에서 구현한 PEFT 라이브러리에 포함된 (2302 기준) 방법론 들이다. ** 이거 말고 “prefix tuning” 은 : ..

암호 기초 : 정보 보안 - 암호학 위의 유투브 강의를 듣고 정리하였다. Cryptology (암호학) : 많이 사용하는 단어는 아님. cryptography : 암호화(혹은 복호화) 기술 cryptanalysis : 암호해독, 암호를 공격하는 입장에서, key 를 모를 때 사용. 암호 체계 (시스템) 기본 가정 ** 공격자는 전체 암호 체계를 잘 알고 있다. 즉, 암호 알고리즘(cipher)는 비밀이 아니다. 오직 암호화 키 (key) 만이 비밀이다. 위의 기본 가정을 Kerckhoffs(키르히호프)’ Principle 이라고 한다. 이러한 가정을 하는 이유 경험상, 암호 알고리즘(어떻게 암호가 만들어지는가) 이 노출되면 암호화의 기능은 약해진다. (무용지물이 된다) 암호화 알고리즘은 결코 비밀이 유지..