[Linux] 서버에 Nvidia 그래픽 드라이버 설치

요즘 LLM에 대한 관심이 높아지면서 자체 서버에 LLM모델을 실행시키는 사람들이 많아졌다.

LLM을 위해서는 그래픽카드가 필수인데 서버 측에 있는 그래픽카드가 구형이라 구형 드라이버에 맞게 설치를 해줘야 한다.

 

우선 Nvidia그래픽 드라이버 사이트로 들어가서 내 PC에 설치된 Driver를 검색하여 찾은 뒤 Linux버전으로 가져온다.

 

https://www.nvidia.com/en-us/drivers/

Download The Latest Official NVIDIA Drivers

 

 

 

그리고 다운로드를 직접 받아서 서버로 옮기거나 링크를 복사해서 wget으로 받은 뒤, 시스템에 드라이버를 설치한다.

sudo sh [다운받아진 드라이버 파일명].run

 

 

설치가 완료된 아래 명령어로 재부팅을 한 다음.

sudo reboot now

 

 

아래 명령어로 드라이버 상태를 보면 된다.

nvidia-smi

 

 

정상적으로 설치가 되고 작동 중이라면 아래와 같은 내용이 나온다

Wed Dec 11 20:36:37 2024       
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 470.256.02   Driver Version: 470.256.02   CUDA Version: 11.4     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|                               |                      |               MIG M. |
|===============================+======================+======================|
|   0  NVIDIA GeForce ...  Off  | 00000000:01:00.0 N/A |                  N/A |
| 40%   38C    P8    N/A /  N/A |     15MiB /   979MiB |     N/A      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+

+-----------------------------------------------------------------------------+
| Processes:                                                                  |
|  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
|        ID   ID                                                   Usage      |
|=============================================================================|
|  No running processes found                                                 |
+-----------------------------------------------------------------------------+