robots.txt生成-在线工具箱

在线robots.txt生成工具

默认 - 所有机器人是:
检索间隔:
Sitemap: (留空为无)

普通搜索机器人:	谷歌搜素	googlebot
	百度搜索	baiduspider
	Soso 搜索	Sosospider
	搜狗	sogous pider
	Bing	Bing搜素
	Cuil	twiceler
	GigaBlast	gigabot
	Scrub The Web	scrubby
	DMOZ Checker	robozilla
	Nutch	nutch
	Alexa/Wayback	ia_archiver
	Naver	naverbot, yeti

特殊搜索机器人:	Google Image	googlebot-image
	Google Mobile	googlebot-mobile
	Yahoo MM	yahoo-mmcrawler
	MSN PicSearch	psbot
	SingingFish	asterias
	Yahoo Blogs	yahoo-blogs/v3.9

限制目录:	路径是相对的，但每个路径之前都要包含："/"

推荐分享

您的足迹：

友情链接：姐姐直播免费直播下载黑猪视频奈斯漫画官方页面免费漫画在线看王者荣耀官方明日之后手机版下载地铁跑酷体验服