Skip to content
TUWLAB.com
모든 게시물에 대하여 '링크'
방식의 퍼가기만 허용합니다.
한양대학교 전자통신컴퓨터공학부
바라미
  • 609
  • 2573981
DNS Powered by DNSEver.com
Apache

robots.txt를 활용하여 검색엔진 로봇 인덱싱 제한하기

Posted 2012. 07. 19 Updated 2014. 04. 23 Views 9462 Replies 0

웹 페이지의 Root Directory에 다음과 같은 내용의 robots.txt 파일을 작성해두면, 검색엔진의 로봇들에 의해 불필요한 트래픽이 발생하는 현상을 막을 수 있습니다.

User-agent: *
Disallow: /

몰론, robots.txt에 명시된 사항을 따를 지 여부는 검색엔진 로봇이 결정하므로 이렇게 써 놓는다고 해서 100% 인덱싱이 제한된다고는 할 수는 없습니다.

대형 검색엔진에서는 대부분 이 사항을 잘 지킨다고 하므로(믿거나 말거나?) 이 방법을 활용하면 어느 정도 트래픽을 줄이는 효과를 볼 수 있습니다.


이렇게 해서 다 막아놓으면 검색엔진에서 인덱싱이 되지 않아 상위 결과에 뜨는 경우가 드물게 되므로 사이트 성격에 따라서 적절히 사용하는 것이 좋습니다.

위 방법은 사이트 전체에 대한 인덱싱을 제한하는 방법이고, 다음과 같이 세부 경로를 지정하여 선택적으로 차단할 수도 있습니다.

User-agent: *
Disallow: /do_not_indexing_here/
Disallow: /my_secret_directory/

이렇게 하면 루트 디렉토리 아래의 do_not_indexing_here 및 my_secret_directory 디렉토리는 인덱싱을 하지 않습니다.


다시 한 번 강조하지만, robots.txt에 기재된 내용은 검색엔진 수집로봇이 자율적으로 판단할 수 있기 때문에 강제사항은 아니라는 점을 명심해야 합니다. 일부 검색엔진에서는 여기에 설정된 정책을 무시하고 인덱싱을 하고 있을 수도 있습니다.

접근을 통제해야 할 문제가 있는 보안과 관련된 사안이라면, Permission이나 Apache의 사이트 설정파일을 통해서 해야만 합니다.


서비스 선택
이용중인 SNS 버튼을 클릭하여 로그인 해주세요.
SNS 계정을 통해 로그인하면 회원가입 없이 댓글을 남길 수 있습니다.
댓글
?
Powered by SocialXE

List of Articles
번호 분류 제목 글쓴이 최근 수정일 조회 수
49 Linux SSHFS를 활용한 원격 디렉토리 마운트 TUW 2014.04.24 10067
48 XE XE Core 업그래이드를 안정적으로 하는 방법 TUW 2014.04.19 10028
47 일반 [Windows 7] 스테레오믹스 활성화하기 file TUW 2021.12.28 9997
46 Linux [Ubuntu] 원격 Shell에서 로그인 사용자 디스플레이에 GUI 프로그램 실행하기 TUW 2016.03.06 9973
45 일반 Eclipse에 C/C++ 개발환경 구축하기 file TUW 2017.06.02 9911
44 AVR [AVR 강의] 실습보드용 필요 부품 및 공구 목록 file TUW 2017.06.02 9799
43 일반 Scan Robot - 전자동 북스캐너 file TUW 2017.06.02 9798
42 Linux [ColorGCC] 컴파일 경고 및 오류메시지 컬러로 출력하기 file TUW 2017.06.02 9675
» Apache robots.txt를 활용하여 검색엔진 로봇 인덱싱 제한하기 TUW 2014.04.23 9462
40 일반 TCP/IP의 원리를 쉽게 설명한 동영상 TUW 2021.12.28 9421
39 Python [Django Tutorial] 5. Static 파일 사용하고 관리하기 file TUW 2017.06.16 8706
38 Python [Django Tutorial] 4. URL Config, Template 및 View의 동작에 대한 이해 file TUW 2017.06.16 8624
37 AVR [반항하는 기계] 기획서 file TUW 2017.06.02 8495
36 Linux [Linux] fdisk 활용 외: 파티션 생성, 배드블록 검사, 파일시스템 생성 TUW 2015.04.24 8239
35 일반 제트엔진의 작동원리 동영상 TUW 2014.04.16 8105
34 AVR [전자동 커튼] 완성 & 동작 시연 동영상 9 file TUW 2017.06.02 8032
목록
Board Pagination Prev 1 ... 7 8 9 10 11 12 13 Next
/ 13

Powered by Xpress Engine / Designed by Sketchbook

sketchbook5, 스케치북5

sketchbook5, 스케치북5