5.3 문서 조작(text processing) 관련 명령
이번 장은 UNIX 시스템에 설치되어 있는 문서 조작과 관련된 유틸리티에 대한 것이다. 여기서 설명하는 유틸리티들은 UNIX 시스템이 개발자용 시스템으로서의 진면목을 보여주고 있으며, 이를 통해 많은 작업들을 자동화하고 편리하게 할 수 있다.
프로그램을 만든 A .V.Aho, P.J.Weinberger, B.W.Kernighan의 이름에서 유래한다. awk 는 광범위하고 다양한 계산과 특히 데이터 조작에 매우 유용한 "프로그램 언어"이다. (Awk도 자신의 프로그램 문법을 가지는 하나의 프로그램 언어이다.)
awk 프로그램은 입력 데이터에서 "어떤 것"을 찾고, 찾았을 때 "어떤 일"을 할 것인지를 기록한 일련의 패턴(pattern어떤 것)과 작용(action : 어떤 일)으로 구성된다. 패턴은(pattern) 문자, 숫자, 필드, 변수, 배열에 대한 비교 연산자와 정규 표현식의 조합으로 구성되어 특정한 줄을 선택한다. 작용(action)은 선택된 줄에 일련의 조작(processing)을 한다. 작용 언어(action language)는 C-언어(C-language)를 많이 닮았다.
awk는 입력 파일을 조사해 자동적으로 각 입력 줄을 필드로 분리한다. 입력, 필드 분리, 메모리 내용관리, 초기화 등 많은 일이 자동화(automatic) 되어 있기 때문에 awk 프로그램의 크기는 보통 기존의 언어로 작성한 것보다 훨씬 작다.
명령 형식 :
awk [-f program-file] [-Fc] [ program ] [ filename . . . ]
1. -f 를 사용하여 program-file에 저장된 프로그램을 읽는다.
% awk -f calculate-average gradeData
2. -F를 사용해 필드 구분(field delimiter) 문자를 지정할 수 있다.
3. program에 awk 프로그램을 직접 기술할 수 있다.
% awk '$3 == 0 {print $1}' file1 file2
예 제 1 :
1. /etc/hosts 파일에서 hostname과 IP Address의 두 필드만 출력한다.
% awk ‘{print $2, $1}’ /etc/hosts
2. ls -l 의 출력중 파일 이름과 SIZE만 출력한다.
% ls -l | awk ‘{print $8, $4}’
% ls -l | awk ‘{printf “%20s %8d\n”, $8,$4}’
3. /etc/passwd 파일에서 username과 HOME 디렉토리의 위치를 출력한다.
% awk -F: '{print $1, $6}’ /etc/passwd
% awk -F: '{printf “%-10s %-30s\n", $1, $6}’/etc/passwd
예 제 2 :
1. 각 필드를 역순으로 출력한다.
{ for (I = NF; I > 0; --I) print $1}
NF는 필드의 수를 나타낸다.
2. 어떤 필드($3)의 값을 더해 합계와 평균을 출력한다.
{ s += $3 }
END { print “sum is”, s, “ average is”, s/NR }
첫 번째 라인의 문구는 입력된 파일의 매 라인마다 실행되며, 두 번째 라인의 문장은 라인의 마지막 라인에서 한번 실행(END표시에 의해) 한다. 반대로BEGIN은 awk 시작 시 한 번만 실행한다. NR은 입력된 파일의 전체 라인 수를 의미한다.
각 줄에서 지정한 열이나 범위가 정해진 영역(필드)을 추출한다. 영역의 구분은 구분자(-d option)에 위해 설정할 수 있다.
문자 단위, 필드 단위 또는 둘의 조합으로 동작할 수 있다.
명령 형식 :
cut -clist [ filename ... ]
cut -flist [ -dc ] [ -s ] [ filename ... ]
options :
-clist : 잘라 낼 문자의 위치를 나타낸다.
-flist : 잘라 낼 필드의 위치를 나타낸다.
-dc : 필드를 구분하는 문자를 나타낸다.
-s : 필드 구분 문자가 없는 줄은 삭제한다.
예 제 :
1. /etc/passwd 파일에서 username과 HOME 디렉토리의 위치를 출력한다.
% cut -d: -f1,6 /etc/passwd
% awk -F: '{print $1, $6}' /etc/passwd
% awk -F: '{printf “%-10s %-30s\n”, $1, $6}' /etc/passwd
2. ls -l 의 출력중 파일 SIZE와 이름을 출력한다.
% ls -l | awk '{print $4, $8}'
% ls -l | awk '{print $8, $4}'
% ls -l | awk '{printf “%20s %8d\n”, $8,$4}'
3. 위의 결과와 아래을 비교해 보자. 어떤 차이가 있는지
% ls -l | cut -c34-40,53-
% ls -l | cut -c53-70,34-40
(awk는 출력 필드의 순서를 변경할 수 있지만, cut은 선택한 필드만 출력하고 순서는 바꿀 수 없다.)
4. X-Window 시스템을 사용할 때 리모트 시스템에서 DISPLAY라는 환경 변수를 설정한다.
% alias dsp 'setenv DISPLAY `who am I | cut -d"(" -f2 | cut -d")" -f1`:0'
(인용 부호의 사용에 유의해야 한다.)
두 파일의 같은 줄을 비교하여 차이점을 출력한다. 비교시 file1을 기준으로 비교하므로 비교할 두 파일의 순서가 중요하다.
명령 형식 :
diff [ options ] file1 file2
options :
- b : 줄 끝에 있는 공백,TAB을 무시하고 모든 공백 문자열을 동등하게 취급.
- e : 출력 결과를 파일1을 파일2와 같게 만드는데 필요한ed 편집기의 명령으로 만든다.
- I : 문자의 대/소문자를 구분 하지 않는다.(즉 a와 A는 같다)
- w : 모든 공백(TAB 포함)을 무시한다.
(즉 'a == b'와 'a==b'는 같다)
출력 형식 :
처음 파일(file1)이 두 번째 파일(file2)과 같아지기 위한 조건으로 출력
a (append) : 파일1이 파일2와 같아지기 위해 파일1에 첨가해야 할 줄 표시
d (delete) : 파일1이 파일2와 같아지기 위해 파일1에서 지울 줄을 표시
c (change) : 파일1이 파일2와 같아지기 위해 파일1에서 변경할 줄을 표시
"<" : 파일1을 의미,
">" : 파일2를 의미
예 제 :
% diff ~/.cshrc /cad/lgs_util/dot/.cshrc
22,23c22,23
< #setenv HWPDIR /cad/HWPX-3.0
< setenv WABIDIR ~/wabi
---
> setenv HWPDIR /cad/HWPX-3.0
> #setenv WABIDIR ~/wabi
25,26c25
< set UnixPath = (/bin /usr/ucb /sbin /usr/sbin /etc /usr/etc \
< /usr/bin /usr/dt/bin)
---
> set UnixPath = (/bin /usr/ucb /sbin /usr/sbin /usr/dt/bin /etc)
35a35
> set LocalPath = (/opt/local/bin /cad/lgs_util)
37,41c37
< set LocalPath = (/cad/lost+found /opt/local/bin /cad/lgs_util)
< #set WabiPath = (/opt/SUNWwabi/bin)
< set PrtPath = (/usr/newsprint/bin)
< set PutilPath = (/usr/tran/sparc/bin)
< set UtilPath = (~/UTIL $LocalPath $NetscapePath $PrtPath)
---
> set UtilPath = (~/UTIL $LocalPath $NetscapePath)
47c43
< #for Opus Tools(4.3 : 9502)
---
> #for Opus Tools(4.4 : 97A)
80c76
< setenv MANPATH ${MANPATH}:${CDSHOME}/share/man:/usr/newsprint/man
---
> setenv MANPATH ${MANPATH}:${CDSHOME}/share/man
89d84
< a h 'history \!* | tail -20 | more'
90a86
> a h 'history \!* | tail -20 | more'
94,95c90
< a dp 'screendump >'
< a psg 'ps -ef | grep \!*'
---
> a psg '/bin/ps -ef | grep \!*'
ed는 표준 문서 편집기이다. 우리가 UNIX 시스템을 사용하면서 자주 사용하는 vi 문서 편집기는 편집 내용이 화면에서 이루어 지는 사용자와 편집기이다. 여기에 비해 ed는 편집과정이 화면에 표시되지 않는다. 그러나 편집할 과정을 파일로 만들고 이 파일을 사용하여 한번에 문서를 편집할 수 있어 동일한 작업을 여러 문서에 적용하거나 많은 문서를 편집할 때에 아주 유용한 유틸리티이다.
명령 형식 :
ed [file]
ed에서 사용되는 편집 명령은 vi 편집기에서 사용되는 것과 동일하다. (사실은 vi 편집기가 ed가 사용하는 명령을 가져다 사용하는 것이다). 어드레스(문서라인번호)는 괄호(())안에 표시하며 현재 어드레스는 DOT(.)으로 표현한다. 괄호를 사용하는 것 외에는 동일하다.
예 제 :
다음은root와 help 라는 두 사용자에 대한 passwd 파일의 변경과 password를 변경하기 위해 ed 유틸리티를 사용한 예제이다.
< change_passwd_file >
#!/bin/csh -f
set PW_FOR_ROOT = hunYWNFf/Fw3s
set PW_FOR_HELP = Y8lS0ySa.oT46
switch (`uname -r`)
case 4.1.4:
case 4.1.3_U1:
case 4.1.4:-JL:
ed /etc/passwd << eof
/root:/c
root:${PW_FOR_ROOT}:0:1:0000-Admin(4437):/:/usr/bin/csh
.
/help:/c
help:${PW_FOR_HELP}:6002:30:HELP
Desk(4437):/user/admin/help:/usr/bin/csh
.
w
eof
breaksw
case 5.5.1:
case 5.5:
ed /etc/passwd << eof
/help:/c
help:x:6002:30:HELP DESK USER:/user/admin/help:/bin/csh
.
w
eof
ed /etc/shadow << eof
/root:/c
root:${PW_FOR_ROOT}:10037::::::
.
/help:/c
help:${PW_FOR_HELP}:10037::::::
.
w
eof
breaksw
case 2:
ed /etc/passwd << eof
/help:/c
help:!:6002:30:HELP Desk:/user/admin/help:/usr/bin/csh
.
w
eof
ed /etc/security/passwd << eof
/root:
.+1c
password = ${PW_FOR_ROOT}
.
/help:
.+1c
password = ${PW_FOR_HELP}
.
w
eof
breaksw
default:
endsw
1. ed filename << eof는 라인의 맨 처음에 eof를 입력될 때까지의 입력을 ed의 편집명령어로 인식하여 filename에 적용하라는 의미이다.
2. ed filename << eof ~ eof 에서 사이의 문자들은 편집 명령으로 인식하므로 편집 명령어 앞에 white space(Blank, TAB)을 사용하면 않된다.
3. Case 구문을 사용한 것은 UNIX 업체나 OS에 따라 passwd 파일과 password를 저장하는 파일 구조가 다르기 때문에 다르게 적용하기 위한 것이다.
(참고)
UNIX 시스템은 password를 만들 때 사용자가 입력한 password 문자를 기준으로 DES라는 encryption 알고리즘을 12번 실행하여 password 부분을 만든다. 그런데 동일한 문자를 사용하면 동일한 password가 만들어 져야 하나, 매번 만들 때 마다 다르게 생성된다.
이것은 password를 만들 때 UNIX 시스템에서 제공하는 시드(seed) 문자와 사용자가 입력한 문자를 조합한 문자를 기준으로 password를 만들기 때문이다. UNIX 시스템이 만드는 시드 문자는 2048(-)개의 2 byte 문자(시드 문자)로 시간에 따라 다르게 만들어 진다. password를 만들 때 마다 이 시드 문자가 다르기 때문에 결과가 다르게 나타나는 것이다. Password 부분에서 처음의 2 Byte(문자)가 시드 문자에 해당한다.
입력 파일이나 문장에서 지정한 패턴을 추출하는 프로그램으로 grep( G lobal Regular E xpression P rint)이 있다. fgrep, egrep도 grep명령과 같은 부류의 유틸리티로 목적에 따라 특정 명령을 선택하여 사용한다.
grep, frep, egrep의 특징은 다음과 같다.
명령 형식 :
grep [ -cilnvw ] pattern [file ... ]
pattern : 탐색할 패턴. 정규 표현식(regular expression)을 사용한다.
file : 패턴을 찾을 파일
option :
-c (count) : 패턴과 일치한 줄의 수를 출력한다.
-i (ignore) : 검색할 때 대 소문자의 차이를 무시한다.
-l (list file): 복수 개의 파일을 검색할 때 패턴이 들어 있는 파일 이름을 출력한다.
-n (number) : 패턴과 일치한 줄의 줄 번호를 함께 출력한다.
-v (invert) : 패턴을 포함하지 않는 모든 줄을 출력한다.
-w (word) : 완전한 단어만을 찾을 때 지정한다.
예 제 :
1. /etc/hosts 파일에서 edu로 시작하는 host를 찾는다.
% grep edu /etc/hosts
2. /etc/hosts 파일에서 edu로 시작하는 host를 제외한다.
% grep -v edu /etc/hosts
3. 특정 사용자(yangyh)가 사용 중인 프로세스를 찾는다.
% /bin/ps -ef | grep yangyh
4. 현재 실행 MODE에 있는 프로세스를 찾는다.
% /bin/ps - elfo s,pid,pcpu,pmem,args | egrep ‘(^O |^R ) ’
% /bin/ps - elfo s,pid,pcpu,pmem,args | grep ‘ (^O |^R ) ’
(O의 의미는 On CPU, R은 Runnable 프로세스를 의미한다.)
5. 현재 실행 MODE 프로세스중 필요없는 프로세스는 없앤다.
% /bin/ps -elfo s,pid,pcpu,pmem,args | egrep ‘(^O |^R )’ | grep -v '(csh|elfo|grep|kproc|rshd)’
<< END >>