Python 및 Torch 코딩 이모저모

[참조 링크] https://pytorch.org/tutorials/intermediate/ddp_tutorial.html : 근데 이렇게 코드 한줄로 일반 데이터 패러렐하는 것의 문제점은 메인 지피유를 설정햇을때 일의 부하가 한 노드로 쏠림! 지피유를 골고루 사용하지 못해서 시간이 느려짐 model = Toy().to(device) # 모델 선언 model = DataParallel(model) # 데이터 패러렐 그래서 나온 개념이 Data Parallel 로, 멀티 지피유(노드4개)를 다 써서 데이터셋을 처리하고 싶다는 취지이다. **** 운영체제 정리(process, thread) **** Program : HDD(hard disk drive)에 코드의 형태로 저장되어있음 Process : cpu에..