[이화여대 강의] 2. Deep Learning Software Stack 1 (1)

** 본 강의의 software stack 은 NVIDIA GPU 기준으로 설명된다. 왜냐하면 엔비디아는 software stack(gpu 를 원할하게 사용할 수 있는 환경 구축)이 잘되어있기 때문이다.

deep learning 라이브러리와 hardware 사이의 software stack 이 잘되어있는 것이 중요하다.

 

General Deep Learning software stack

 

아래에 있는 모든 hierarchy 를 software stack 이라고 부른다.

 

2024-1 인공지능융합기반시스템개론 ❘ 이화여자대학교 심재형 교수님 ppt

 

 

위에서 High-level api 부터 아주 간단하게 보면,

Keras 는 (파이토치에는 해당되지 않지만) Tensorflow 딥러닝 라이브러리보다는 상위레벨이다.

 

Distributed DL 프레임워크는 Horovod 가 있다. (멀티 gpu 이상의, 멀티 노드에서의) 분산학습을 쉽게 하기 위한 프레임워크이다.

 

Acceleration 라이브러리는 직접 하드웨어에서 실행할 수 있는 GPU instruction 들이 저장되어있다. 이 instruction 들을 API, Program language 로 구현한다.

 

그리고 맨 마지막에 하드웨어가 있다.

** FPGA : 하드웨어를 프로그래밍할 수 있는 칩. 하드웨어 언어로 프로그래밍해서 원하는 cpu 나 gpu 를 만들 수 있다.

 

pytorch source structure

파이토치 라이브러리는 크게 4가지 디렉토리가 존재한다.

 

• torch/ : front-end 담당, nn.Linear 등이 사용자와 인터페이싱하고있는 모듈이 저장되어있다. 파이썬으로 이루어져 있기 때문에 (인터프리터와 컴파일러로 이루어져있어서) 느리다.
• torch/csrc/ : 파이썬과 c 를 이어주는 binding 이 구현되있다. c로 구현되어 있다.
  • api/ : cpp(씨쁠쁠) API
  • autograd/
  • jit/ : TorchScript
• aten/src/ATen/ : A Tensor 라이브러리의 약자. 텐서에 수행하는 operation 들(conv, matmul, etc) 이 구현되어 있다.
  • native/ : implemenatation → 어떤 하드웨어를 사용하냐에 따라 어떤 코드를 사용할지 결정된다.
  • /TH, THC : legacy 코드.
• c10/ : TensorImpl 등

 

ATen (A Tensor library)

Pytorch default Runtime Execution

2024-1 인공지능융합기반시스템개론 ❘ 이화여자대학교 심재형 교수님 ppt

 

aten 은 tensor mathematical operation library 로, 

파이썬은 느리기 때문에 사용자가 사용하기 쉽도록하는 프론트엔드의 역할만 할 뿐 실제 계산 라이브러리는 (c, cpp, cuda) 등 다른 언어로 이루어져 있다.

사용자가 사용하는 하드웨어가 무엇이냐에 따라 Aten 이 어떤 코드를 돌리는지 결정한다.

예를 들면, gpu→cuda를 사용 등.

 

#include <ATen/ATen.h>

at::Tensor a = at::ones({2, 2}, at::kInt);
at::Tensor b = at::randn({2, 2});
auto c = a + b.to(at::kInt);

 

위는 aten 코드의 간단한 예시이다.

 

Anatomy if an Operator Call

예시 1 : torch.add()

2024-1 인공지능융합기반시스템개론 ❘ 이화여자대학교 심재형 교수님 ppt

 

torch.add 함수는 위 그림과 같은 단계를 거쳐 실행된다.

 

Python argument parsing 으로 python→cpp 로 넘긴다.

Variable Type 에서 float point 인지 integer 인지 데이터형을 정한다.

Type 에서 device type 과 layout(data가 메모리에 어떻게 mapping 되어있는지) 을 결정한다.

이후 Naitive function 안에 연결되어있는 kernel(operator 를 구현하는 단위)을 실행한다.

 

예시2: conv

torch 의 Conv2d 를 실행시키면 F.conv2d() 가 실행된다. (F=torch.functional, 파이썬의 프론트엔드같은 개념)

→ F에서 aten 을 호출한다.

→ aTen 에서 naitive 폴더의 Convolution.cpp 에 구현된 conv 를 실행한다.

 

pytorch/aten/src/ATen/native/ : Aten github 에서 다음 디렉토리로 들어가면 cpp 로 구현된 convolution 등 다양한 함수들이 있다.

2024-1 인공지능융합기반시스템개론 ❘ 이화여자대학교 심재형 교수님 ppt

위 코드에서 어떤 device 에 따라 계산 라이브러리를 사용할 것인지가 결정된다.