CUDA_ERROR_OUT_OF_MEMORY 에러
Tensorflow 작업을 하다보면 이런 에러가 보일 때가 있습니다.
보통 Jupyter notebook을 사용하는 서버 환경에 이런 에러가 보이는데
원인은 GPU를 사용하면서 GPU의 메모리를 할당받고 해제하지 않은 프로세스가 있거나 많기 때문입니다.
이 프로세스가 지금 실행하고 있고 중요한 것이 아니면서 Jupyter notebook으로 실행된 메모리 점유만 하고 사용하지 않는 것이라면 그냥 kill 하면 됩니다.
먼저 nvidia-smi로 GPU의 할당 내역을 보고 nvidia-smi –gpu-reset으로 해제를 시도합니다.
|
1 2 3 4 |
sudo nvidia-smi sudo nvidia-smi --gpu-reset |
하고 나서도 해제가 안된다면 킬 해줍니다.
|
1 2 3 |
sudo kill -09 24089 |
하고 나면 깔끔해진 것을 볼 수 있습니다.
이제 메모리 오류가 발생했던 코드를 다시 실행하면 더 이상 에러가 발생하지 않습니다.
