Skip to content
TUWLAB.com
모든 게시물에 대하여 '링크'
방식의 퍼가기만 허용합니다.
한양대학교 전자통신컴퓨터공학부
바라미
  • 690
  • 2573354
DNS Powered by DNSEver.com
Apache

robots.txt를 활용하여 검색엔진 로봇 인덱싱 제한하기

Posted 2012. 07. 19 Updated 2014. 04. 23 Views 9462 Replies 0

웹 페이지의 Root Directory에 다음과 같은 내용의 robots.txt 파일을 작성해두면, 검색엔진의 로봇들에 의해 불필요한 트래픽이 발생하는 현상을 막을 수 있습니다.

User-agent: *
Disallow: /

몰론, robots.txt에 명시된 사항을 따를 지 여부는 검색엔진 로봇이 결정하므로 이렇게 써 놓는다고 해서 100% 인덱싱이 제한된다고는 할 수는 없습니다.

대형 검색엔진에서는 대부분 이 사항을 잘 지킨다고 하므로(믿거나 말거나?) 이 방법을 활용하면 어느 정도 트래픽을 줄이는 효과를 볼 수 있습니다.


이렇게 해서 다 막아놓으면 검색엔진에서 인덱싱이 되지 않아 상위 결과에 뜨는 경우가 드물게 되므로 사이트 성격에 따라서 적절히 사용하는 것이 좋습니다.

위 방법은 사이트 전체에 대한 인덱싱을 제한하는 방법이고, 다음과 같이 세부 경로를 지정하여 선택적으로 차단할 수도 있습니다.

User-agent: *
Disallow: /do_not_indexing_here/
Disallow: /my_secret_directory/

이렇게 하면 루트 디렉토리 아래의 do_not_indexing_here 및 my_secret_directory 디렉토리는 인덱싱을 하지 않습니다.


다시 한 번 강조하지만, robots.txt에 기재된 내용은 검색엔진 수집로봇이 자율적으로 판단할 수 있기 때문에 강제사항은 아니라는 점을 명심해야 합니다. 일부 검색엔진에서는 여기에 설정된 정책을 무시하고 인덱싱을 하고 있을 수도 있습니다.

접근을 통제해야 할 문제가 있는 보안과 관련된 사안이라면, Permission이나 Apache의 사이트 설정파일을 통해서 해야만 합니다.


서비스 선택
이용중인 SNS 버튼을 클릭하여 로그인 해주세요.
SNS 계정을 통해 로그인하면 회원가입 없이 댓글을 남길 수 있습니다.
댓글
?
Powered by SocialXE

List of Articles
번호 분류 제목 글쓴이 최근 수정일 조회 수
81 OrCAD [OrCAD 16.3] Capture 부품 이동하며 자동 연결 옵션 설정하기 file TUW 2021.12.28 12339
80 OrCAD [OrCAD Capture] 회로도 PDF로 출력하기 - PDF Export 활용 file TUW 2021.12.28 17678
79 Security [SSL/HTTPS] Let's Encrypt 무료 SSL 인증서 발급/설치/관리 - certbot 사용법 file TUW 2021.12.28 33529
78 Security [SSL/HTTPS] StartSSL/StartCom 사태와 Let's Encrypt로의 이전 1 file TUW 2021.12.28 11973
77 일반 [TeraTerm] 명령줄 인수와 공개키 인증으로 간편하게 SSH 접속하기 TUW 2018.11.06 4454
76 Linux [Ubuntu] 파티션 관리 프로그램 - GParted file TUW 2021.12.28 22461
75 Linux [Ubuntu] Bashrc Shell Prompt 커스터마이징 (.bashrc PS1) TUW 2014.04.24 22796
74 Linux [Ubuntu] SSH 초기 접속 속도 향상시키기 TUW 2014.04.23 13804
73 Linux [Ubuntu] Windows와 멀티부팅 환경에서 시간이 맞지 않는 현상 해결하기 TUW 2017.06.08 29488
72 Linux [Ubuntu] 데이터 및 DB(MySQL)를 백업 및 복원하는 명령어 TUW 2014.04.20 15542
71 Linux [Ubuntu] 디스크 마운트하기 TUW 2014.04.20 36527
70 Linux [Ubuntu] 디스크 용량 확인 명령어 TUW 2014.04.20 13225
69 Linux [Ubuntu] 서버 복구 : 설치부터 세팅까지 Quick Guide TUW 2013.07.08 15075
68 Linux [Ubuntu] 원격 Shell에서 로그인 사용자 디스플레이에 GUI 프로그램 실행하기 TUW 2016.03.06 9967
67 Linux [Ubuntu] 화면캡처 및 작업공간 전환 단축키 TUW 2014.04.20 24088
66 Linux [Vi/Vim] 단축키 모음 file TUW 2017.06.02 11549
목록
Board Pagination Prev 1 ... 5 6 7 8 9 10 11 ... 13 Next
/ 13

Powered by Xpress Engine / Designed by Sketchbook

sketchbook5, 스케치북5

sketchbook5, 스케치북5