Skip to content
TUWLAB.com
모든 게시물에 대하여 '링크'
방식의 퍼가기만 허용합니다.
한양대학교 전자통신컴퓨터공학부
바라미
  • 665
  • 2573329
DNS Powered by DNSEver.com
Apache

robots.txt를 활용하여 검색엔진 로봇 인덱싱 제한하기

Posted 2012. 07. 19 Updated 2014. 04. 23 Views 9462 Replies 0

웹 페이지의 Root Directory에 다음과 같은 내용의 robots.txt 파일을 작성해두면, 검색엔진의 로봇들에 의해 불필요한 트래픽이 발생하는 현상을 막을 수 있습니다.

User-agent: *
Disallow: /

몰론, robots.txt에 명시된 사항을 따를 지 여부는 검색엔진 로봇이 결정하므로 이렇게 써 놓는다고 해서 100% 인덱싱이 제한된다고는 할 수는 없습니다.

대형 검색엔진에서는 대부분 이 사항을 잘 지킨다고 하므로(믿거나 말거나?) 이 방법을 활용하면 어느 정도 트래픽을 줄이는 효과를 볼 수 있습니다.


이렇게 해서 다 막아놓으면 검색엔진에서 인덱싱이 되지 않아 상위 결과에 뜨는 경우가 드물게 되므로 사이트 성격에 따라서 적절히 사용하는 것이 좋습니다.

위 방법은 사이트 전체에 대한 인덱싱을 제한하는 방법이고, 다음과 같이 세부 경로를 지정하여 선택적으로 차단할 수도 있습니다.

User-agent: *
Disallow: /do_not_indexing_here/
Disallow: /my_secret_directory/

이렇게 하면 루트 디렉토리 아래의 do_not_indexing_here 및 my_secret_directory 디렉토리는 인덱싱을 하지 않습니다.


다시 한 번 강조하지만, robots.txt에 기재된 내용은 검색엔진 수집로봇이 자율적으로 판단할 수 있기 때문에 강제사항은 아니라는 점을 명심해야 합니다. 일부 검색엔진에서는 여기에 설정된 정책을 무시하고 인덱싱을 하고 있을 수도 있습니다.

접근을 통제해야 할 문제가 있는 보안과 관련된 사안이라면, Permission이나 Apache의 사이트 설정파일을 통해서 해야만 합니다.


서비스 선택
이용중인 SNS 버튼을 클릭하여 로그인 해주세요.
SNS 계정을 통해 로그인하면 회원가입 없이 댓글을 남길 수 있습니다.
댓글
?
Powered by SocialXE

List of Articles
번호 분류 제목 글쓴이 최근 수정일 조회 수
49 Linux Ubuntu에서 PATH 설정하기 TUW 2014.04.20 60825
48 Linux Ubuntu에서 Global Menu Bar 해제하기 TUW 2014.04.24 11875
47 Linux Ubuntu에서 GIT Client 설치 및 사용하기 TUW 2014.04.24 13701
46 Linux Ubuntu에 GITLAB 설치하기 A to Z, Apache 연동 file TUW 2017.06.02 22467
45 Linux Ubuntu 에서 VirtualBox로 Windows 7 설치 및 사용하기 1 file TUW 2017.06.02 23323
44 Linux TCPDump를 활용하여 패킷 모니터링하기 TUW 2020.04.13 7169
43 일반 TCP/IP의 원리를 쉽게 설명한 동영상 TUW 2021.12.28 9421
42 Security SSL Handshake 과정 TUW 2016.06.21 7327
41 Linux SSHFS를 활용한 원격 디렉토리 마운트 TUW 2014.04.24 10066
40 XE Social XE 트위터 프로필사진 표시 문제 해결하기 3 file TUW 2017.06.02 205146
39 XE Social XE 댓글 위젯에 SNS 전송 옵션 추가하기 6 file TUW 2017.06.02 23632
38 Linux SCP명령어 - 초간단 파일/디렉토리 전송 TUW 2014.04.23 41242
37 일반 Scan Robot - 전자동 북스캐너 file TUW 2017.06.02 9797
36 Linux Root권한 없이 Wireshark 사용하기 file TUW 2017.06.02 108832
» Apache robots.txt를 활용하여 검색엔진 로봇 인덱싱 제한하기 TUW 2014.04.23 9462
34 Python pyenv를 이용하여 여러 버전의 Python 동시에 사용하기 3 TUW 2016.07.12 14274
목록
Board Pagination Prev 1 ... 7 8 9 10 11 12 13 Next
/ 13

Powered by Xpress Engine / Designed by Sketchbook

sketchbook5, 스케치북5

sketchbook5, 스케치북5