robots.txt生成-在线工具箱

在线robots.txt生成工具

默认 - 所有机器人是:
检索间隔:
Sitemap: (留空为无)

普通搜索机器人:	谷歌搜素	googlebot
	百度搜索	baiduspider
	Soso 搜索	Sosospider
	搜狗	sogous pider
	Bing	Bing搜素
	Cuil	twiceler
	GigaBlast	gigabot
	Scrub The Web	scrubby
	DMOZ Checker	robozilla
	Nutch	nutch
	Alexa/Wayback	ia_archiver
	Naver	naverbot, yeti

特殊搜索机器人:	Google Image	googlebot-image
	Google Mobile	googlebot-mobile
	Yahoo MM	yahoo-mmcrawler
	MSN PicSearch	psbot
	SingingFish	asterias
	Yahoo Blogs	yahoo-blogs/v3.9

限制目录:	路径是相对的，但每个路径之前都要包含："/"

推荐分享

您的足迹：

友情链接：