|
커피향이 나는 *NIX
커피닉스
시스템/네트웍/보안을 다루는 곳
|
|
|
|
| 이전 주제 보기 :: 다음 주제 보기 |
| 글쓴이 |
메시지 |
truefeel
카페 관리자
가입: 2003년 7월 24일
올린 글: 1277
위치: 대한민국
|
 올려짐: 2006.4.11 화, 9:48 pm 주제: ichiro(이치로) bot 들락거림과 조치 |
 |
|
User-Agent명 : ichiro/2.0 (http://help.goo.ne.jp/door/crawler.html)
일본 검색사이트인 goo에서는 ichiro/2.0 이름의 bot을 사용하고 있습니다.
이 놈의 bot이 시도때도 없이 들락거리고 있습니다. 뭐~ NaverBot이나 야후의 Slurp도 마찬가지지만.
Slurp, msnbot은 robots.txt에 'Crawl-delay: 초'를 설정하면 지정한 시간만큼 delay를 주면서 방문을 하지만 ichiro는 안되는 걸로 보이네요.
ichiro bot 자체를 완전히 막을까 하다가 이 bot의 반응 살펴보기 위해
httpd.conf 설정에서 시간대 중에 30~60초 사이에 접속을 한 경우(19:31:37면 해당, 19:31:12면 NO)에는 http://help.goo.ne.jp/door/crawler.html 로 포워딩되도록 해버렸습니다.
| 코드: |
RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} ^ichiro
RewriteCond %{TIME_SEC} >30
RewriteCond %{TIME_SEC} <60
RewriteRule ^/(.*)$ http://help.goo.ne.jp/door/crawler.html [R]
|
이해하시겠죠?
1) ichiro bot이면서 2) 30~60초대 사이에 접속을 하면 3) help.goo.ne.jp... 로 포워딩
슬슬 반응을 지켜봐야겠네요.
덧붙여서 Agent 목록을 제공하는 사이트 2곳을 소개하겠습니다.
1. List of User-Agents(Spiders, Robots, Crawler, Browser)
http://www.psychedelix.com/agents/index.shtml
여긴 Agent명을 A-Z순으로 나열했습니다. 엄청난 양입니다.
2. User Agent Database
http://www.tnl.net/ua/
유형별(Browser, Proxy, Spider, RSS Reader...), OS별로 검색할 수 있습니다
robots.txt 설정은 http://www.robotstxt.org/ 을 참고하시고,
robots.txt 파일을 몇가지 조건만 선택하면 자동 생성해주는 Robot Control Code Generation Tool 사이트도 있습니다.
http://www.mcanerin.com/EN/search-engine/robots-txt.asp |
|
| 위로 |
|
 |
|
|
새로운 주제를 올릴 수 없습니다
답글을 올릴 수 없습니다
주제를 수정할 수 없습니다
올린 글을 삭제할 수 없습니다
투표를 할 수 없습니다
|
Powered by phpBB © 2001, 2005 phpBB Group
|
FAQ
검색
멤버리스트
사용자 그룹
사용자 등록하기
개인 정보
비공개 메시지를 확인하려면 로그인하십시오
로그인
가입없이 누구나 글을 쓸 수 있습니다. 공지사항에 대한 댓글까지도..
BBS >>
설치, 운영 Q&A |
네트웍, 보안 Q&A |
일반 Q&A ||
정보마당 |
AWS ||
자유게시판 |
구인구직 ||
공지사항 |
의견제시
