首页
在线robots文件生成
首页
SEO优化
在线robots文件生成
限制目录:
+ 增加限制目录
路径是相对的,但每个路径之前都要包含:"/"
Sitemap:
+ 增加Sitemap
留空为无,谷歌为xml格式,百度为html格式
检索间隔:
不限
5秒
10秒
20秒
60秒
120秒
所有搜索:
国内搜索引擎
百度
SOSO
搜狗
有道
国外搜索引擎
谷歌
Bing
雅虎
Ask/Teoma
Alexa/Wayback
Cuil
MSN Search
Scrub The Web
DMOZ
GigaBlast
特殊搜索引擎(机器人)
Google Image
Google Mobile
Yahoo MM
Yahoo Blogs
MSN PicSearch
其他(非常规搜索引擎,甚至偏向恶意)
SemrushBot
MJ12bot
AhrefsBot
Uptimebot
MegaIndex.ru
ZoominfoBot
Mail.Ru
SeznamBot
BLEXBot
ExtLinksBot
aiHitBot
Researchscan
DnyzBot
spbot
YandexBot
DotBot
Barkrowler
立即生成
请将以下结果保存到记事本,命名为robots.txt上传到网站根目录