3.3. Red Hat Enterprise Linux 관련 정보
2 장에서 설명된 도구를 사용하여 Red Hat Enterprise Linux에서 대역폭과 CPU 사용 정보를 감시할 수 있습니다. 따라서 이 장을 아직 읽어보지 않으셨다면, 다음으로 넘어가시기 전에 먼저 읽어보시기 바랍니다.
3.3.1. Red Hat Enterprise Linux에서 대역폭 감시하기
2.4.2 절에서 이미 언급되었듯이 대역폭 사용량을 직접 감시하기는 쉽지 않습니다. 그러나 장치 수준 통계 자료를 살펴봄으로서 시스템 대역폭 사용량이 적절한지 대략적으로 확인해볼 수 있습니다.
vmstat 명령을 입력 후 bi와 bo 항목을 관찰하시면 사용량이 지나치게 높은 장치가 있는지 확인하실 수 있습니다. 또한 si와 so 항목을 살펴보시면 스왑 관련 입/출력으로 인하여 얼마나 많은 디스크 용량이 사용될지를 알아낼 수 있습니다.
procs memory swap io system cpu
r b w swpd free buff cache si so bi bo in cs us sy id
1 0 0 0 248088 158636 480804 0 0 2 6 120 120 10 3 87
|
이 예시에서 bi 항목은 블록 장치 (주로 디스크 드라이브)에 기록된 두 블록/초를 나타내며, bo 항목은 블록 장치에서 읽어온 6 블록/초를 나타냅니다. 이 수치는 스와핑 작업과는 관련이 없음을 si와 so 항목에서 알 수 있습니다. 두 항목 모두 스왑 관련 입/출력 속도가 0 킬로바이트/초를 나타냅니다.
iostat 명령을 사용하여 디스크 관련 작업 상황에 대한 정보를 살펴볼 수 있습니다:
Linux 2.4.21-1.1931.2.349.2.2.entsmp (raptor.example.com) 07/21/2003
avg-cpu: %user %nice %sys %idle
5.34 4.60 2.83 87.24
Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn
dev8-0 1.10 6.21 25.08 961342 3881610
dev8-1 0.00 0.00 0.00 16 0
|
여기서 tsp 영역을 보시면 major 번호가 8인 장치 (/dev/sda, 첫번재 SCSI 디스크)가 평균적으로 1초당 입/출력 작업이 한번정도 실행하는 것을 알 수 있습니다. 이 장치에서 실행된 대부분의 입출력 작업은 쓰기 작업이었으며 (Blk_wrtn 항목), 1초당 25 블록 정도 작성했다는 것(Blk_wrtn/s 항목 참조)을 알 수 있습니다.
보다 상세한 정보를 보시려면 iostat 명령에 -x 옵션을 함께 사용하시면 됩니다:
Linux 2.4.21-1.1931.2.349.2.2.entsmp (raptor.example.com) 07/21/2003
avg-cpu: %user %nice %sys %idle
5.37 4.54 2.81 87.27
Device: rrqm/s wrqm/s r/s w/s rsec/s wsec/s rkB/s wkB/s avgrq-sz
/dev/sda 13.57 2.86 0.36 0.77 32.20 29.05 16.10 14.53 54.52
/dev/sda1 0.17 0.00 0.00 0.00 0.34 0.00 0.17 0.00 133.40
/dev/sda2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 11.56
/dev/sda3 0.31 2.11 0.29 0.62 4.74 21.80 2.37 10.90 29.42
/dev/sda4 0.09 0.75 0.04 0.15 1.06 7.24 0.53 3.62 43.01
|
앞서 보여진 출력 결과보다 훨씬 많은 항목이 나타납니다. 여기서 지금 보여진 iostat 명령은 각 파티션 당 통계 결과를 보여준다는 사실에 주목해주십시오. df 명령과 함께 장치명으로 마운트 지점을 지정하여 입력하시면, 어느 파티션이 과도한 작업 부하를 초래하는지 확인 가능합니다.
실제 iostat -x 명령의 출력 결과는 여기에서 보여진 것보다 훨씬 길고 상세합니다; 각 줄의 나머지 부분은 다음과 같습니다 (여러분이 읽기 쉽도록 장치 이름을 첫 행에 추가하였습니다):
Device: avgqu-sz await svctm %util
/dev/sda 0.24 20.86 3.80 0.43
/dev/sda1 0.00 141.18 122.73 0.03
/dev/sda2 0.00 6.00 6.00 0.00
/dev/sda3 0.12 12.84 2.68 0.24
/dev/sda4 0.11 57.47 8.94 0.17
|
이 예시에서 /dev/sda2이 시스템 스왑 파티션인것을 알 수 있습니다. 이 파티션에 대한 항목들의 거의 0.00를 나타내는 것으로 보아서 이 시스템의 스와핑 작업에는 아무런 문제가 없다는 것을 추측 가능합니다.
또한 /dev/sda1을 보시면 한가지 흥미로운 점을 발견할 수 있습니다. 이 파티션의 전체적인 작업 실행 상황은 낮아보이지만 왜 평균 입/출력 요청량 (avgrq-sz 행), 평균 대기 시간 (await 행), 평균 서비스 시간 (svctm 행)은 다른 파티션에 비하여 훨씬 높은걸까요? 그 이유는 바로 이 파티션이 /boot/ 디렉토리를 포함하기 때문입니다. 이 디렉토리에는 커널과 초기 램디스크가 저장되어 있으며, 시스템이 부팅시 읽기 입/출력 작업은 용량이 큰 블록을 읽기 때문에 iostat 명령을 입력시 대기 시간과 서비스 시간이 다른 파티션 보다 길게 나타납니다. (rsec/s과 rkB/s 행만 0이 아닌 것에 주목해주십시오; 부트 디렉토리에는 쓰기 작업이 거의 실행되지 않습니다)
sar 명령을 이용하여 장기간 입/출력 통계 정보를 살펴볼 수 있습니다; 예를 들어 sar -b라고 입력하시면 다음과 같은 일반적인 입/출력 정보가 화면에 나타납니다:
Linux 2.4.21-1.1931.2.349.2.2.entsmp (raptor.example.com) 07/21/2003
12:00:00 AM tps rtps wtps bread/s bwrtn/s
12:10:00 AM 0.51 0.01 0.50 0.25 14.32
12:20:01 AM 0.48 0.00 0.48 0.00 13.32
…
06:00:02 PM 1.24 0.00 1.24 0.01 36.23
Average: 1.11 0.31 0.80 68.14 34.79
|
이전에 보았던 iostat 명령의 출력 결과와 유사하게 이 명령의 결과도 각 블록 장치 당 그룹지어 출력됩니다.
sar -d 명령을 사용하여 또 다른 입/출력 관련 정보를 볼 수 있습니다:
Linux 2.4.21-1.1931.2.349.2.2.entsmp (raptor.example.com) 07/21/2003
12:00:00 AM DEV tps sect/s
12:10:00 AM dev8-0 0.51 14.57
12:10:00 AM dev8-1 0.00 0.00
12:20:01 AM dev8-0 0.48 13.32
12:20:01 AM dev8-1 0.00 0.00
…
06:00:02 PM dev8-0 1.24 36.25
06:00:02 PM dev8-1 0.00 0.00
Average: dev8-0 1.11 102.93
Average: dev8-1 0.00 0.00
|
이 명령은 각 장치마다 정보를 보여줍니다. 그러나 이전 명령 만큼 상세한 정보를 보여주지는 않습니다.
주어진 버스나 데이터 경로에 대한 대역폭 사용량을 정확히 보여주는 자료는 없지만, 최소한 작 장치의 작업 상황을 알 수 있으며, 이 정보에 기초하여 간접적으로나마 버스 작업 부하를 추측할 수가 있습니다.
3.3.2. Red Hat Enterprise Linux에서 CPU 사용량 모니터링 방법
대역폭 모니터링과는 달리 CPU 사용량을 모니터링은 보다 간단합니다. GNOME 시스템 감시기를 사용한 간단한 CPU 사용량을 알아내기부터 sar 명령을 이용한 상세한 통계 정보 보기에 이르기까지 다양한 방법을 사용하여 CPU 처리 능력이 어떻게 어느 프로그램에 의하여 얼마만큼 사용되고 있는지 정확히 알아낼 수 있습니다.
GNOME 시스템 감시기나 top 명령 보다 상세한 CPU 사용 현황 정보를 제공하는 자원 모니터링 도구는 2 장에서 다루었습니다. 다음은 이중 프로세서를 갖춘 워크스테이션에서 top 명령을 입력 후 나타난 예시 출력 결과입니다:
9:44pm up 2 days, 2 min, 1 user, load average: 0.14, 0.12, 0.09
90 processes: 82 sleeping, 1 running, 7 zombie, 0 stopped
CPU0 states: 0.4% user, 1.1% system, 0.0% nice, 97.4% idle
CPU1 states: 0.5% user, 1.3% system, 0.0% nice, 97.1% idle
Mem: 1288720K av, 1056260K used, 232460K free, 0K shrd, 145644K buff
Swap: 522104K av, 0K used, 522104K free 469764K cached
PID USER PRI NI SIZE RSS SHARE STAT %CPU %MEM TIME COMMAND
30997 ed 16 0 1100 1100 840 R 1.7 0.0 0:00 top
1120 root 5 -10 249M 174M 71508 S < 0.9 13.8 254:59 X
1260 ed 15 0 54408 53M 6864 S 0.7 4.2 12:09 gnome-terminal
888 root 15 0 2428 2428 1796 S 0.1 0.1 0:06 sendmail
1264 ed 15 0 16336 15M 9480 S 0.1 1.2 1:58 rhn-applet-gui
1 root 15 0 476 476 424 S 0.0 0.0 0:05 init
2 root 0K 0 0 0 0 SW 0.0 0.0 0:00 migration_CPU0
3 root 0K 0 0 0 0 SW 0.0 0.0 0:00 migration_CPU1
4 root 15 0 0 0 0 SW 0.0 0.0 0:01 keventd
5 root 34 19 0 0 0 SWN 0.0 0.0 0:00 ksoftirqd_CPU0
6 root 34 19 0 0 0 SWN 0.0 0.0 0:00 ksoftirqd_CPU1
7 root 15 0 0 0 0 SW 0.0 0.0 0:05 kswapd
8 root 15 0 0 0 0 SW 0.0 0.0 0:00 bdflush
9 root 15 0 0 0 0 SW 0.0 0.0 0:01 kupdated
10 root 25 0 0 0 0 SW 0.0 0.0 0:00 mdrecoveryd
|
첫 CPU 관련 정보인 평균 작업 부하 정보는 첫번째 줄에 나타납니다. 평균 작업 부하는 시스템에서 실행 중인 프로세스 수를 평균낸 수치입니다. 이러한 평균 작업 부하 정보는 top에서 3개의 번호로 나타납니다. 각 번호는 1분, 5분 및 15분 전 평균 작업 부하를 의미합니다. 이 예시에서는 시스템 사용량이 그리 높지 않을 것을 볼 수 있습니다.
다음 줄에는 CPU 사용량과는 직접 관련되지는 않았지만 현재 실행 중인 프로세스 수를 보여줍니다 (이 예시에서는 특이하게 이 번호가 1이라는 사실에 주목해주십시오). 실행 프로세스의 수를 알면 CPU 사용량이 높은지 낮은지를 간접적으로 추측 가능합니다.
다음 두줄은 각 CPU의 현재 사용 현황을 보여줍니다. 사용자 수준과 시스템 수준 프로세싱 정보와 프로세스의 우선 순위 변경 작업으로 인한 CPU 사용량 증가 정보, 그리고 휴지 상태 정보가 나타납니다.
이제 프로세스 관련 부분을 봐주십시오. 대부분의 CPU 용량을 차지하는 프로세스가 top 명령 자체라는 것을 알 수 있습니다. 즉, 휴지 상태에 있는 이 시스템에서 현재 실행 중인 유일한 프로세스는 top 명령이라는 의미입니다.
 | 힌트 |
|---|---|
따라서 시스템 감시 프로그램을 실행하게되면 이 프로그램 자체가 자원 사용량에 영향을 끼친다는 사실을 염두해두십시오. 소프트웨어 기반 감시 프로그램은 모두 약간씩 자원 사용량에 영향을 미칩니다. |
CPU 사용 현황을 보다 자세하게 보시려면 다른 도구를 사용하셔야 합니다. vmstat 명령을 입력하시면 다음과 같이 약간 다른 정보를 볼 수 있습니다:
procs memory swap io system cpu
r b w swpd free buff cache si so bi bo in cs us sy id
1 0 0 0 233276 146636 469808 0 0 7 7 14 27 10 3 87
0 0 0 0 233276 146636 469808 0 0 0 0 523 138 3 0 96
0 0 0 0 233276 146636 469808 0 0 0 0 557 385 2 1 97
0 0 0 0 233276 146636 469808 0 0 0 0 544 343 2 0 97
0 0 0 0 233276 146636 469808 0 0 0 0 517 89 2 0 98
0 0 0 0 233276 146636 469808 0 0 0 32 518 102 2 0 98
0 0 0 0 233276 146636 469808 0 0 0 0 516 91 2 1 98
0 0 0 0 233276 146636 469808 0 0 0 0 516 72 2 0 98
0 0 0 0 233276 146636 469808 0 0 0 0 516 88 2 0 97
0 0 0 0 233276 146636 469808 0 0 0 0 516 81 2 0 97
|
이 예시에서는 매초당 10번 시스템 정보를 가져오기 위하여 vmstat 1 10이라는 명령을 입력하였습니다. 처음 보기에는 CPU 관련 정보 (us, sy, id 행)가 top 명령 결과와 유사한 것처럼 보여집니다. 그러나 top과는 달리 이 명령은 CPU가 어떻게 사용되고 있는지에 대한 정보를 보다 상세하게 보여줍니다.
system 행을 보시면 CPU가 평균적으로 일초당 500 인터럽트를 처리하며 일초당 80에서 400번 정도 프로세스를 교체하는 것을 알 수 있습니다. 이 횟수가 매우 높다고 느껴진다면, 다시 생각해보십시오. 사용자 수준 프로세싱 (us 행)의 평균은 오직 2%이며, 시스템 수준 프로세싱 (sy 행)은 1% 미만입니다. 즉 이 시스템은 휴지 상태에 있다고 할 수 있습니다.
Sysstat이 제공하는 도구를 보면 iostat과 mpstat은 top과 vmstat 보다 상세한 추가 정보를 제공합니다. 또한 sar 명령을 이용하시면 CPU 사용량을 모니터링에 용이한 다양한 정보를 얻으실 수 있습니다.
다음은 sar -q 명령이 출력 결과입니다. 프로세스 대기 시간과 전체 프로세스 수, 그리고 1분 전 및 5분전 평균 작업 부하 정보를 보여줍니다:
Linux 2.4.21-1.1931.2.349.2.2.entsmp (falcon.example.com) 07/21/2003
12:00:01 AM runq-sz plist-sz ldavg-1 ldavg-5
12:10:00 AM 3 122 0.07 0.28
12:20:01 AM 5 123 0.00 0.03
…
09:50:00 AM 5 124 0.67 0.65
Average: 4 123 0.26 0.26
|
이 출력 결과에서 한번에 한 개 이상 프로세스가 실행 중이라는 사실로 보아 시스템이 항상 바쁘다는 것을 알 수 있습니다. 그러나 이 특정 시스템에는 프로세서가 한개 이상 있으므로 작업 부하가 그리 높지는 않습니다.
다음은 sar -u 명령을 입력하여 출력된 CPU와 관련된 sar 리포트입니다:
Linux 2.4.21-1.1931.2.349.2.2.entsmp (falcon.example.com) 07/21/2003
12:00:01 AM CPU %user %nice %system %idle
12:10:00 AM all 3.69 20.10 1.06 75.15
12:20:01 AM all 1.73 0.22 0.80 97.25
…
10:00:00 AM all 35.17 0.83 1.06 62.93
Average: all 7.47 4.85 3.87 83.81
|
이 출력 결과는 많은 다른 도구를 이용하여 살펴본 결과와 그리 다르지 않습니다. sar를 사용시 최대 이점은 데이터가 계속적으로 업데이트되기 때문에 장시간에 걸친 평균을 얻거나 CPU 사용량 그래프를 생성하는데 유용합니다.
다중 프로세서를 갖춘 시스템에서 sar -U 명령을 이용하여 각 프로세서 당 정보를 얻거나 또는 모든 프로세서에 대한 정보를 한번에 얻을 수가 있습니다. 다음은 sar -U ALL 명령의 출력 결과입니다:
Linux 2.4.21-1.1931.2.349.2.2.entsmp (falcon.example.com) 07/21/2003
12:00:01 AM CPU %user %nice %system %idle
12:10:00 AM 0 3.46 21.47 1.09 73.98
12:10:00 AM 1 3.91 18.73 1.03 76.33
12:20:01 AM 0 1.63 0.25 0.78 97.34
12:20:01 AM 1 1.82 0.20 0.81 97.17
…
10:00:00 AM 0 39.12 0.75 1.04 59.09
10:00:00 AM 1 31.22 0.92 1.09 66.77
Average: 0 7.61 4.91 3.86 83.61
Average: 1 7.33 4.78 3.88 84.02
|
sar -w 명령은 일초당 몇번 프로세스가 교체되는지 (context switch) 보여줍니다. 따라서 CPU 사이클에 대한 추가 정보를 알아낼 수 있습니다:
Linux 2.4.21-1.1931.2.349.2.2.entsmp (falcon.example.com) 07/21/2003
12:00:01 AM cswch/s
12:10:00 AM 537.97
12:20:01 AM 339.43
…
10:10:00 AM 319.42
Average: 1158.25
|
또한 sar 명령을 이용하여 인터럽트 작업에 대한 두가지 다른 결과를 알아낼 수도 있습니다. 먼저 sar -I SUM 명령을 입력하여 "일초당 인터럽트 수"를 하나로 통합하여 볼 수 있습니다:
Linux 2.4.21-1.1931.2.349.2.2.entsmp (falcon.example.com) 07/21/2003
12:00:01 AM INTR intr/s
12:10:00 AM sum 539.15
12:20:01 AM sum 539.49
…
10:40:01 AM sum 539.10
Average: sum 541.00
|
다음으로 sar -I PROC 명령을 입력하시면 인터럽트 작업 결과를 프로세서마다 그리고 인터럽트 수준(0 - 15)에 따라서 보여줍니다:
Linux 2.4.21-1.1931.2.349.2.2.entsmp (pigdog.example.com) 07/21/2003
12:00:00 AM CPU i000/s i001/s i002/s i008/s i009/s i011/s i012/s
12:10:01 AM 0 512.01 0.00 0.00 0.00 3.44 0.00 0.00
12:10:01 AM CPU i000/s i001/s i002/s i008/s i009/s i011/s i012/s
12:20:01 AM 0 512.00 0.00 0.00 0.00 3.73 0.00 0.00
…
10:30:01 AM CPU i000/s i001/s i002/s i003/s i008/s i009/s i010/s
10:40:02 AM 0 512.00 1.67 0.00 0.00 0.00 15.08 0.00
Average: 0 512.00 0.42 0.00 N/A 0.00 6.03 N/A
|
위의 출력 결과는 (이 페이지에 맞추기위해 오른족 나머지 정보는 생략되었습니다) 각 인터럽트 수준마다 정보를 각 행에서 보여줍니다. (예, i002/s 행은 인터럽트 수준 2에 대한 속도를 보여줍니다). 만일 이 명령을 다중 프로세서 시스템에서 입력한 경우 한줄당 각 CPU에 대한 정보가 나타날 것입니다.
또 한가지 주목하셔야할 것은 sar은 해당 항목에 대한 정보를 얻지 못한 경우 특정 인터럽트 항목을 추가하거나 삭제한다는 사실입니다. 이 예시를 보시면 마지막 부분에 인터럽트 수준 (3과 10)에서 정보를 수집하기 시작했을때 아무런 자료도 수집되지 않았음(N/A)을 보여줍니다.
 | 알림 | ||
|---|---|---|---|
sar -I ALL와 sar -I XALL 옵션을 이용한 명령도 사용 가능합니다. 그러나 sadc 자료 수집 유틸리티의 기본 설정으로 인해 이 명령이 필요한 정보를 수집 불가능합니다. 이것을 가능하게 하려면 /etc/cron.d/sysstat 파일에서 다음 줄을 찾으셔서:
다음과 같이 변경하면 됩니다:
이 설정은 sadc이 추가 정보를 수집하도록 하기 때문에 자료 파일 용량이 보다 커진다는 사실을 염두해두십시오. 따라서 시스템 설정을 살피셔서 사용 가능한 여유 공간이 있는지 확인해보시기 바랍니다. |