在线工具箱
在线robots.txt生成工具
默认 - 所有机器人是:  
检索间隔:
Sitemap: (留空为无)
     
普通搜索机器人: 谷歌搜素   googlebot
  百度搜索   baiduspider
  Soso 搜索   Sosospider
  搜狗   sogous pider
  Bing   Bing搜素
  Cuil   twiceler
  GigaBlast   gigabot
  Scrub The Web   scrubby
  DMOZ Checker   robozilla
  Nutch   nutch
  Alexa/Wayback   ia_archiver
  Naver   naverbot, yeti
   
特殊搜索机器人: Google Image   googlebot-image
  Google Mobile   googlebot-mobile
  Yahoo MM   yahoo-mmcrawler
  MSN PicSearch   psbot
  SingingFish   asterias
  Yahoo Blogs   yahoo-blogs/v3.9
   
限制目录: 路径是相对的，但每个路径之前都要包含："/"
 
 
 
 
 
   

推荐分享
您的足迹：

在线工具导航

友情链接： 姐姐直播免费直播下载 黑猪视频 奈斯漫画官方页面免费漫画在线看 王者荣耀官方 明日之后手机版下载 地铁跑酷体验服 kk下载站