Skip to content
TUWLAB.com
Apache

robots.txt를 활용하여 검색엔진 로봇 인덱싱 제한하기

Posted 2012. 07. 19 Updated 2014. 04. 23 Views 9385 Replies 0

웹 페이지의 Root Directory에 다음과 같은 내용의 robots.txt 파일을 작성해두면, 검색엔진의 로봇들에 의해 불필요한 트래픽이 발생하는 현상을 막을 수 있습니다.

User-agent: *
Disallow: /

몰론, robots.txt에 명시된 사항을 따를 지 여부는 검색엔진 로봇이 결정하므로 이렇게 써 놓는다고 해서 100% 인덱싱이 제한된다고는 할 수는 없습니다.

대형 검색엔진에서는 대부분 이 사항을 잘 지킨다고 하므로(믿거나 말거나?) 이 방법을 활용하면 어느 정도 트래픽을 줄이는 효과를 볼 수 있습니다.


이렇게 해서 다 막아놓으면 검색엔진에서 인덱싱이 되지 않아 상위 결과에 뜨는 경우가 드물게 되므로 사이트 성격에 따라서 적절히 사용하는 것이 좋습니다.

위 방법은 사이트 전체에 대한 인덱싱을 제한하는 방법이고, 다음과 같이 세부 경로를 지정하여 선택적으로 차단할 수도 있습니다.

User-agent: *
Disallow: /do_not_indexing_here/
Disallow: /my_secret_directory/

이렇게 하면 루트 디렉토리 아래의 do_not_indexing_here 및 my_secret_directory 디렉토리는 인덱싱을 하지 않습니다.


다시 한 번 강조하지만, robots.txt에 기재된 내용은 검색엔진 수집로봇이 자율적으로 판단할 수 있기 때문에 강제사항은 아니라는 점을 명심해야 합니다. 일부 검색엔진에서는 여기에 설정된 정책을 무시하고 인덱싱을 하고 있을 수도 있습니다.

접근을 통제해야 할 문제가 있는 보안과 관련된 사안이라면, Permission이나 Apache의 사이트 설정파일을 통해서 해야만 합니다.


서비스 선택
이용중인 SNS 버튼을 클릭하여 로그인 해주세요.
SNS 계정을 통해 로그인하면 회원가입 없이 댓글을 남길 수 있습니다.
댓글
?
Powered by SocialXE

List of Articles
번호 분류 제목 글쓴이 최근 수정일 조회 수
81 XE XE 브라우저 제목 제어기 애드온 file TUW 2017.06.02 10375
80 일반 [포토샵] 사진 가장자리 투명하게 처리하기 file TUW 2017.06.02 38029
79 Linux [vsFTP] 생성 파일 기본 권한 설정하기 file TUW 2017.06.02 16897
78 XE XE 게시판 '스킨 관리' 탭에 저장 버튼 및 목차 추가하기 file TUW 2021.12.28 11604
77 Linux Linux 시스템 종료 명령어 - shutdown과 halt TUW 2014.04.23 23228
76 Apache Apache에서 디렉토리별 php.ini 다르게 적용하기 (php_value, php_flag) TUW 2014.04.23 13998
75 일반 Windows 7에서 보호된 노트북 복구파티션 삭제하기 file TUW 2017.06.02 43751
74 일반 형광등기구 안정기 교환 file TUW 2021.12.28 11898
73 일반 Eclipse에 C/C++ 개발환경 구축하기 file TUW 2017.06.02 9823
72 Apache Apache에서 서브 도메인 및 가상 호스트 설정하기 file TUW 2017.06.02 36270
71 Linux [Ubuntu] 서버 복구 : 설치부터 세팅까지 Quick Guide TUW 2013.07.08 14981
» Apache robots.txt를 활용하여 검색엔진 로봇 인덱싱 제한하기 TUW 2014.04.23 9385
69 PSpice PSpice MOSFET 시뮬레이션 - MbreakN/P 사용방법 file TUW 2017.06.02 42695
68 PSpice PSpice Performance Analysis file TUW 2021.12.28 10766
67 PSpice PSpice에서 Global Parameter Sweep을 활용하여 가변저항 시뮬레이션하기 file TUW 2021.12.28 40653
66 일반 PSpice 시뮬레이션 결과창에서 Search Command 사용하기 file TUW 2017.06.02 26699
목록
Board Pagination Prev 1 ... 5 6 7 8 9 10 11 ... 13 Next
/ 13

Powered by Xpress Engine / Designed by Sketchbook

sketchbook5, 스케치북5

sketchbook5, 스케치북5