개요
Linux 상에서 여러 행에 걸친 내용을 입력으로 중복된 내용을 제거한 결과를 확인하고 싶다. 방법을 알아보자.
uniq
uniq 명령은 중복된 내용의 행이 연속으로 나타나는 경우, 중복으로 취급한다.
uniq [-option] [filename]때문에 보통 내용을 정렬하는 sort 명령어와 함께 사용된다.
사용 예시
아래와 같은 텍스트를 예시로 중복을 제거해보자.
bat
abc
apple
Abc
BALL
ABc
bat
1. 중복 제거
sort test.txt | uniq
uniq 명령은 기본적으로 중복 여부 판단시 대소문자를 구분한다. 중복 항목이었던 bat가 제거된 상태를 확인할 수 있다.
2. 중복된 항목 표시
sort test.txt | uniq -d
중복된 항목인 bat만 표시되는 모습을 확인할 수 있다.
3. 중복 제거 시 대소문자 무시
sort test.txt | uniq -i
대소문자를 구분하지 않으면 중복되는 ABc, Abc, bat가 제거된 모습을 확인할 수 있다.
참고 문서
https://www.lesstif.com/lpt/linux-uniq-95879394.html