여러 곳에서 모은 이메일 주소, 키워드, 참석자 명단을 합치면 같은 항목이 여기저기 겹치기 마련입니다. 중복을 그대로 두면 같은 사람에게 메일이 두 번 가거나, 통계가 부풀려지거나, 목록이 지저분해집니다. 이 글에서는 목록 중복을 제거하는 방법과 각 방식의 차이, 그리고 놓치기 쉬운 함정을 정리합니다.
중복 제거가 필요한 순간
중복 제거는 생각보다 자주 필요합니다. 뉴스레터 발송 전 수신자 목록을 정리할 때, 키워드 리서치 결과를 합쳐 고유 검색어만 남길 때, 설문 응답에서 같은 항목을 하나로 묶을 때, 여러 파일의 URL이나 상품 코드를 통합할 때 등입니다. 공통점은 한 줄에 한 항목씩 정리된 목록이라는 점입니다. 이런 구조라면 중복 제거가 간단해집니다.
방법 1: 전용 도구로 즉시 처리
가장 빠른 방법은 줄 단위 중복 제거 도구를 쓰는 것입니다. 중복 줄 제거기는 한 줄에 하나씩 입력한 목록에서 각 줄의 앞뒤 공백을 정리한 뒤, 처음 등장한 항목만 남기고 이후 중복을 제거합니다. 원래 입력 순서를 유지하므로 정렬로 순서가 흐트러지지 않고, 붙여 넣기만 하면 되니 별도 프로그램이 필요 없습니다. 처리는 브라우저 안에서만 이뤄져 데이터가 외부로 나가지 않습니다.
방법 2: 스프레드시트
엑셀이나 구글 시트를 이미 쓰고 있다면 '중복 제거' 기능이나 UNIQUE 함수를 활용할 수 있습니다. 다만 스프레드시트는 열 단위로 동작하고, 앞뒤 공백이나 대소문자 차이를 자동으로 통일해 주지 않는 경우가 있어 결과를 확인해야 합니다. 대량 데이터를 다른 계산과 함께 처리할 때 유리합니다.
방법 3: 정렬 후 눈으로
항목이 적다면 먼저 줄 정렬 도구로 가나다·알파벳순 정렬을 한 뒤 눈으로 중복을 찾는 방법도 있습니다. 정렬하면 같은 항목이 이웃해 나열되므로 중복이 한눈에 보입니다. 소규모 목록이나, 중복을 지우기 전에 어떤 항목이 겹치는지 확인하고 싶을 때 적합합니다.
자주 하는 실수 세 가지
대소문자 차이. 많은 도구가 영문 대문자와 소문자를 서로 다른 항목으로 봅니다. 즉 Apple과 apple이 중복으로 처리되지 않습니다. 대소문자를 무시하고 합치려면 먼저 대소문자 변환기로 표기를 통일한 뒤 중복을 제거하세요.
앞뒤 공백. apple과 apple (뒤에 공백)은 눈으로는 같아 보여도 다른 값입니다. 좋은 도구는 앞뒤 공백을 정리한 뒤 비교하지만, 방식에 따라 다르므로 결과를 확인하는 것이 안전합니다.
빈 줄. 빈 줄이 결과에서 제외되는 경우가 많습니다. 빈 행의 위치가 의미 있는 자료(예: 구분선 역할)라면 중복 제거로 구조가 바뀔 수 있으니 주의하세요.
순서 유지 vs 정렬
중복을 제거할 때 원래 순서를 지킬지, 아니면 정렬할지를 먼저 정하는 것이 좋습니다. 우선순위나 입력 순서가 중요한 목록(예: 방문 순서, 랭킹)이라면 순서를 유지하는 방식이 맞습니다. 반대로 최종적으로 정렬된 깔끔한 목록이 필요하다면 중복 제거 후 정렬하거나, 정렬 후 중복을 제거하면 됩니다. 두 도구를 순서대로 쓰면 원하는 형태를 만들 수 있습니다.
자주 묻는 질문
Q. 대소문자를 무시하고 중복을 제거할 수 있나요? 전용 도구는 대소문자를 구분하는 경우가 많으므로, 먼저 대소문자를 통일한 뒤 제거하는 것이 확실합니다.
Q. 몇 개가 제거됐는지 알 수 있나요? 정리 전후의 줄 수를 비교하면 제거된 중복 개수를 확인할 수 있습니다.
Q. 순서가 바뀌나요? 줄 중복 제거기는 입력 순서를 유지하며 중복된 뒤쪽 항목만 없앱니다.
Q. 중복 항목만 따로 뽑을 수도 있나요? 이 도구는 고유 항목을 남기는 용도입니다. 겹치는 항목만 보려면 정렬 후 이웃한 같은 값을 확인하는 방식이 편합니다.
도구마다 대소문자·공백 처리 방식이 다를 수 있으므로, 중요한 목록은 결과를 원본과 대조해 확인하세요.