BOT 아이피리스트 (검색 bot 아이피) admin 2010.11.19 http://iplists.com/http://iplists.com/google.txthttp://iplists.com/inktomi.txthttp://iplists.com/lycos.txthttp://iplists.com/infoseek.txthttp://iplists.com/altavista.txthttp://iplists.com/excite.txthttp://iplists.com/misc.txthttp://iplists.com/non_engines.txt Read More..
검색 로봇 막기 (검색 bot 막기) admin 2010.11.19 robots.txt 사용하려면 홈페이지 최고 상단 / 에 올려놓으시면됩니다. 참고로 robots.txt 있다고 해서 모든 로봇을 막을수는 없습니다. 그냥 뚤고 지나가는 로봇도 있습니다. * 아래와 같이 설정하시면 모든 검색엔진에 대해서 막는다는 뜻입니다. robots.txt ———————- User-agent: * Disallow: / ———————- 모든 검색엔진 허용하기 ——————— User-agent: * Disallow: ——————- 특정 검색엔진 막기 아래와 같이 특정 검색 로봇 이름명을 적어주시면됩니다. //네이버 로봇 막기 ——————— User-agent: cowbot Disallow: / ——————- //구글 로봇 막기 ——————– User-agent: Googlebot Disa... Read More..