Skip to content
TUWLAB.com
모든 게시물에 대하여 '링크'
방식의 퍼가기만 허용합니다.
한양대학교 전자통신컴퓨터공학부
바라미
  • 395
  • 2573767
DNS Powered by DNSEver.com
Apache

robots.txt를 활용하여 검색엔진 로봇 인덱싱 제한하기

Posted 2012. 07. 19 Updated 2014. 04. 23 Views 9462 Replies 0

웹 페이지의 Root Directory에 다음과 같은 내용의 robots.txt 파일을 작성해두면, 검색엔진의 로봇들에 의해 불필요한 트래픽이 발생하는 현상을 막을 수 있습니다.

User-agent: *
Disallow: /

몰론, robots.txt에 명시된 사항을 따를 지 여부는 검색엔진 로봇이 결정하므로 이렇게 써 놓는다고 해서 100% 인덱싱이 제한된다고는 할 수는 없습니다.

대형 검색엔진에서는 대부분 이 사항을 잘 지킨다고 하므로(믿거나 말거나?) 이 방법을 활용하면 어느 정도 트래픽을 줄이는 효과를 볼 수 있습니다.


이렇게 해서 다 막아놓으면 검색엔진에서 인덱싱이 되지 않아 상위 결과에 뜨는 경우가 드물게 되므로 사이트 성격에 따라서 적절히 사용하는 것이 좋습니다.

위 방법은 사이트 전체에 대한 인덱싱을 제한하는 방법이고, 다음과 같이 세부 경로를 지정하여 선택적으로 차단할 수도 있습니다.

User-agent: *
Disallow: /do_not_indexing_here/
Disallow: /my_secret_directory/

이렇게 하면 루트 디렉토리 아래의 do_not_indexing_here 및 my_secret_directory 디렉토리는 인덱싱을 하지 않습니다.


다시 한 번 강조하지만, robots.txt에 기재된 내용은 검색엔진 수집로봇이 자율적으로 판단할 수 있기 때문에 강제사항은 아니라는 점을 명심해야 합니다. 일부 검색엔진에서는 여기에 설정된 정책을 무시하고 인덱싱을 하고 있을 수도 있습니다.

접근을 통제해야 할 문제가 있는 보안과 관련된 사안이라면, Permission이나 Apache의 사이트 설정파일을 통해서 해야만 합니다.


서비스 선택
이용중인 SNS 버튼을 클릭하여 로그인 해주세요.
SNS 계정을 통해 로그인하면 회원가입 없이 댓글을 남길 수 있습니다.
댓글
?
Powered by SocialXE

List of Articles
번호 분류 제목 글쓴이 최근 수정일 조회 수
145 Linux SSHFS를 활용한 원격 디렉토리 마운트 TUW 2014.04.24 10067
144 일반 하드디스크 작동 모습 TUW 2021.12.28 10101
143 AVR [AVR 강의] Serial ISP 회로도 file TUW 2017.06.02 10152
142 일반 [C++] Template Class의 정의(Definition)와 구현(Implementation)은 한 파일 안에 있어야 한다. TUW 2015.11.26 10329
141 일반 4선식 터치스크린의 원리 file TUW 2017.06.02 10336
140 XE XE 브라우저 제목 제어기 애드온 file TUW 2017.06.02 10403
139 일반 페이스북 글 입력 필드 분석 file TUW 2017.06.02 10415
138 Python [Django Tutorial] 1. 파이썬 기반 웹 프레임워크 Django에 대한 소개 2 TUW 2017.02.26 10419
137 일반 네이트온 친구삭제 확인하기 file TUW 2017.06.02 10620
136 일반 [AutoHotkey] 소개와 설치 및 기본 설정 - GUI 예시, 기본 에디터 변경 file TUW 2021.12.28 10741
135 Python [Django Tutorial] 9. Production - uWSGI를 통해 Nginx 웹 서버와 연동하기 1 TUW 2018.06.17 10782
134 일반 [GIT] Submodule (Nested Repository) 사용하기 file TUW 2020.08.28 10922
133 일반 Guided Text Input 구현 1 file TUW 2017.06.02 10939
132 PSpice PSpice Performance Analysis file TUW 2021.12.28 11023
131 Linux Ubuntu에서 PHP 최신버전 업데이트하기 TUW 2014.04.23 11025
130 일반 [포토샵] 모자이크 효과 적용하기 file TUW 2017.06.02 11031
목록
Board Pagination Prev 1 2 3 4 5 6 7 ... 13 Next
/ 13

Powered by Xpress Engine / Designed by Sketchbook

sketchbook5, 스케치북5

sketchbook5, 스케치북5