ggml 뿐 아니라 요즘 사용되는 LLM inference 를 위한 다양한 라이브러리에 대해 정리를 해보자. 1. ggml ggml 은 Georgi Gerganov (러시아 사람) 가 (더 가벼운 언어인) c++/c 로 만든 기계 학습 텐서 라이브러리 이다.⇒ llama 를 일반 컴퓨터에서 inferemce하기위해 파이토치나 gpu 를 사용하지 않고 cpu 에서 llm 을 돌릴 수 있도록 만든 라이브러리. n bit quantization 해서 사용한다.llama.cpp 에서 사용하는 C++ 텐서 연산 라이브러리 이다.해당 라이브러리에서 지원하는 파일 포맷도 ggml이라 부른다. 2. llama.cppC++로 개발된 LLM inference 소프트웨어.초기에는 CPU 를 이용한 LLaMA 모델만을 구동 ..
Python 및 Torch 코딩 이모저모
def foo(x, y): print(x, y) >>> t = (1, 2) >>> foo(*t) 1 2 list 말고 tuple 이나 set 도 가능하다. def foo(x, y): print(x, y) >>> d = {'x':1, 'y':2} >>> foo(**d) 1 2 ** 로 dictionary.를 unpacking 한다고 key 이름이 사라지진 않는다 근데 그러면 어디로 가지..? 그건 모르겠다..
[참조 링크] https://pytorch.org/tutorials/intermediate/ddp_tutorial.html : 근데 이렇게 코드 한줄로 일반 데이터 패러렐하는 것의 문제점은 메인 지피유를 설정햇을때 일의 부하가 한 노드로 쏠림! 지피유를 골고루 사용하지 못해서 시간이 느려짐 model = Toy().to(device) # 모델 선언 model = DataParallel(model) # 데이터 패러렐 그래서 나온 개념이 Data Parallel 로, 멀티 지피유(노드4개)를 다 써서 데이터셋을 처리하고 싶다는 취지이다. **** 운영체제 정리(process, thread) **** Program : HDD(hard disk drive)에 코드의 형태로 저장되어있음 Process : cpu에..
