GPU
GPU
다른 표기: 그래픽 처리 장치
같은 계산을 한꺼번에 많이 하는 데 특화된 장치. 딥러닝 학습과 추론에 쓰입니다.
신경망 계산은 곱셈과 덧셈을 아주 많이 반복하는 일입니다. 순서대로 처리하는 CPU보다, 한꺼번에 처리하는 GPU가 훨씬 빠릅니다.
메모리 크기가 다룰 수 있는 모델 크기를 정합니다. 모델이 메모리에 안 들어가면 쪼개서 돌려야 하고 속도가 크게 떨어집니다.
빌려 쓰면 시간당 비용이 나가고, 사면 초기 비용이 큽니다. 사용량이 들쭉날쭉한 서비스는 빌려 쓰다가, 꾸준해지면 옮기는 판단을 합니다.
- 메모리모델 크기와 동시 처리량을 정합니다.
- 비용빌리기와 사기의 갈림은 사용량이 꾸준한지로 봅니다.