[Linux] Disk Full 발생 시 해결 과정

서버 쪽 Disk Full로 인해 App이 정상 동작하지 않았다.

해결한 과정을 기록해본다. 아래 테스트 과정은 실제 서버가 아닌 가상머신에서 한것으로 OS는 OS는 CentOS 7 이다.

디스크 공간 확인

# df: Disk Free
df -h

위와 같이 mount 경로 별 여유공간을 확인 할 수 있다. Disk Full이 발생한 경로를 확인해주었다.

그 다음은 Mount 경로에 사용되는 Disk를 확인한다

저장공간 확인

# lsblk: list block devices
lsblk -l

위 명령으로 disk, partition, lvm 등과 같이 저장공간에 대한 MountPoint를 확인할 수 있다. df 명령어를 통해서 disk full이 난 경로를 확인하고, 어떤 저장공간에 대해서 조치를 취할지 결정할 수 있다.

경로별 용량 확인

어떤 경로에 어떤 데이터가 용량을 차지하는지 확인할 필요가 있다.

du 명령어를 통해서 directory 별 용량을 확인한다.

# du (Disk Usage)
# -h: --human-readable, size 표시(K, M, G)
# -s: --summarize, total size 표시
du -sh * 

이러한 방식으로 dicrectory를 차례대로 확인하면서 용량을 많이 차지하는 경로를 식별한다.

 

조치

다음과 같이 크게 두가지 조치 방법이 있다

1. 필요없는 파일을 삭제하여 저장공간 확보
2. DIsk를 추가하여 저장공간 확보

일단 나는 두가지 경우를 모두 사용했다. 용량을 많이 차지하는 폴더들을 타고타고 확인해보니 로그 파일이 커져서 발생한 문제 였고 일차적으로 로그를 삭제해주었다.

두번째는 mount 경로에 저장공간이 너무작았다.

lsblk -l

위에서 / 에 설정된 볼륨이 LVM으로 관리

되었는데, 이 경로 사이즈가 너무 작았다.

/var/lib 하위에 설치된 프로그램들에 대한 데이터가 쌓였는데, 10T 용량의 디스크가 있는데도 해당 / 경로에 할당된 용량이 50G 밖에 되지 않아 (위의 이미지는 예시이다…)

Disk Full 문제가 쉽게 발생한거 였다.

 

마무리

물론 현재 서버에서 주요 발생 데이터들은 용량이 큰 Disk 쪽에 저장되도록 설정이 되어 있어서 로그 삭제 처리만하고 넘어갔지만, lvm 쪽에 용량을 증설할 필요가 있다고 여겨졌다.

lvm 용량 증설에 관한 내용들은 정리하여 다른 글에서 다루기로 하겠다.