起因

昨天刚好檀博主管理的一个word press交流群里边有群有问到word press怎么写robots.txt文件,本着乐于助人的方面,推荐这位朋友直接抄我的,因为本人纵横SEO届这么多年还是小有心得的!(别扔烂菜叶臭鸡蛋啊,我只想淡淡的装个逼!),但是这个朋友将我的直接复制过去却说不对!!!!“纳尼?”我当时就懵逼了这是是么情况?然后开始了探索之旅也就有了这篇文章。

过程

不信邪的我直接给这位朋友截取了本站的谷歌、百度、360的收录结果截图告诉他你看我的合适,我的收录没有问题的你看吧!这不是合适呢吗?但是这个朋友又给了我一个截图就是下边这个谷歌站战工具测试截图
这个图是什么呢?这是谷歌站长工具里模拟谷歌蜘蛛视野的一个工具。从图中我们可以看到谷歌爬虫看到的是没有css以及图片的。。。好难看啊!檀烟任然不以为然的说你看我的收录不挺好的啊!没啥问题>_>.........,结果他给我的另一张图彻底惊醒了我。这出大问题了啊!请看下图!

上边看到自适应网站不能自适应了这就问题大了啊!移动端不受到推荐这个流量可谓跑的刷刷的?那么该怎么办呢?檀烟直接就帮这个朋友改了!

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /*/comment-page-*
Disallow: /*?replytocom=*
Disallow: /category/*/page/
Disallow: /tag/*/page/
Disallow: /*/trackback
Disallow: /feed
Disallow: /*/feed
Disallow: /comments/feed
Disallow: /?s=*
Disallow: /*/?s=*\
Disallow: /*?*
Disallow: /attachment/
Sitemap:https://www.yudepeng.com/sitemap.html
// 这是我们原先的,可以看出我的网站由于没有使用RSS订阅一些东西已经禁止抓取了
// 下边是修改后的
User-agent: Googlebot
Allow: /
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /*/comment-page-*
Disallow: /*?replytocom=*
Disallow: /category/*/page/
Disallow: /tag/*/page/
Disallow: /*/trackback
Disallow: /feed
Disallow: /*/feed
Disallow: /comments/feed
Disallow: /?s=*
Disallow: /*/?s=*\
Disallow: /*?*
Disallow: /attachment/
Sitemap:https://www.yudepeng.com/sitemap.html
// 仔细思考之后这样还是有问题因此写了加强版的更完美了!
User-agent: Googlebot
Allow: /
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /*/comment-page-*
Disallow: /*?replytocom=*
Disallow: /category/*/page/
Disallow: /tag/*/page/
Disallow: /*/trackback
Disallow: /feed
Disallow: /*/feed
Disallow: /comments/feed
Disallow: /?s=*
Disallow: /*/?s=*\
Disallow: /*?*
Disallow: /attachment/

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /*/comment-page-*
Disallow: /*?replytocom=*
Disallow: /category/*/page/
Disallow: /tag/*/page/
Disallow: /*/trackback
Disallow: /feed
Disallow: /*/feed
Disallow: /comments/feed
Disallow: /?s=*
Disallow: /*/?s=*\
Disallow: /*?*
Disallow: /attachment/
Sitemap:https://www.yudepeng.com/sitemap.html

这样属于最完美的版本了,当然如果有欠缺的可以在下边给博主留言!

参考文件

这篇文章中我参考了wordpress著名SEO插件YOAST的团都的一篇博文但是有些观点个人认为有些偏激,下边给大家提一下!首先附上博文截图

考虑到网速问题,以及文章时效性我直接将作者文章截图!
上边作者不承认robots.txt的价值这点我认为是谬误,首先不论搜索引擎发展到何种程度,robots文件代表的站长权益,以及可以帮助搜索引擎加快收录速度,从这点上讲这是亲搜索引擎的,相信谷歌爬虫还是挺有原则的爬虫会充分尊重网站主。因为我们的网站后台这些东西是坚决不能被抓的!以及保护网站安全的部分!
比较认同的是他不让把地图写在robots.txt里边因为谷歌站长工具里边有提供提交地图的地方。提交之后你有更新蜘蛛能更快的得知,然后来抓取
个人推测:建议吧robots.txt的链接写在地图首条这样蜘蛛能够更快更方便爬取!