TIL : nvidia-smi Failed to initialize NVML 에러

어느날 nvidia-smi로 gpu를 확인해보려는데 다음과 같은 에러가 떴다.

 

"Failed to initialize NVML: Driver/library version mismatch"

 

찾아보니 드라이버가 업데이트되면서 버전이 맞지 않아 발생하는 문제라고 한다.

 

"lsmod | grep nvidia"

 

를 쳐보니 다음과 같이 nvidia driver kernel module이 나온다.

이 커널들을 언로딩하고 다시 로딩하면 된다.

 

sudo rmmod nvidia_drm
sudo rmmod nvidia_modeset
sudo rmmod nvidia_uvm
sudo rmmod nvidia

 

** 이 때, 언로딩시 이미 사용중이라는 메세지가 나타난다면, (Module *** is in use)

프로세스를 kill 해주면 된다.

** nvidia_drm이 nvidia_modeset을 사용중이기 때문에 nvidia_drm을 먼저 언로딩 해주어야 한다.

 

이 과정을 거치고 Reboot시 (sudo reboot)

 

 

 

정상적으로 나오는 것을 확인할 수 있다!!!