robots.txt 사용하려면  홈페이지 최고 상단 / 에 올려놓으시면됩니다.
참고로 robots.txt 있다고 해서 모든 로봇을 막을수는 없습니다.
그냥 뚤고 지나가는 로봇도 있습니다.


* 아래와 같이 설정하시면 모든 검색엔진에 대해서 막는다는 뜻입니다.

robots.txt
———————-
User-agent: *
Disallow: /
———————-

모든 검색엔진 허용하기
———————
User-agent: *
Disallow:
——————-

 

특정 검색엔진 막기
아래와 같이 특정 검색 로봇 이름명을 적어주시면됩니다.

//네이버 로봇 막기
———————
User-agent: cowbot
Disallow: /
——————-

//구글 로봇 막기
——————–
User-agent: Googlebot
Disallow: /
User-agent: Googlebot-Image
Disallow: /
——————-

파일확장자로 막기
—————–
User-agent: *
Disallow: /*.jpg$
Disallow: /*.gif$
Disallow: /*.png$
——————–




특정 검색엔진 허용하기

/ 없어졌죠!!

—————————-
User-agent: Googlebot  // 구글
Disallow:
—————————–


———————————
User-agent: Googlebot-Image  //구글
Disallow:
——————————



홈페이지 일부만 검색엔진 허용

———————————
User-agent: *

Disallow: /myhome/photo/
Disallow: /myhome/
——————————