链缝机厂家
免费服务热线

Free service

hotline

010-00000000
链缝机厂家
热门搜索:
行业资讯
当前位置:首页 > 行业资讯

Robotstxt的写法和利用百度站长平台工具自动生成

发布时间:2019-03-13 09:27:43 阅读: 来源:链缝机厂家

百度站长平台提供了一个很好的t自动生成工具,利用它我们可以很方便的写出t,通过t阻挠搜索引擎收录你不想要被收录客厅屏风效果图的页面及目录,还可以阻挠及引导蜘蛛爬行更多的页面,减少蜘蛛的爬行量,提高蜘蛛的爬行效力,有效的提升更多的页面被收录。

前面我们介绍了通过IIS日志分析让你更好的了解网站运行情况,可以通考古学家过IIS日志查询到蜘蛛爬行中返回404状态的页面,这里我们可以用t制止蜘蛛爬行。百度站长平台注册及网站验证方法这里就不说了,下面讲讲Robots工具的使用方法:

通过上图可以看到,蜘蛛返回404状态的页面都是网站改版前使用的网址,现在都不存在了,但是搜索引擎数据库还保存有记录,所以每天蜘蛛还是会来抓取这个页面的数据的,还有的时候是蜘蛛顺爸爸让我肏妈妈全集着别的网站上面留下的外链爬过来的。下面我们演示怎样将通过光年SEO日志分析软件生成的日志报告中显示的404状态不存在的页面都屏蔽掉,不让蜘蛛抓取。

首先登陆百度站长平台,点击左侧菜单的Robots工具进入Robots自动生成界面。然后将上图中404状态的页面路径整理后复制到Robots工具输入框中。

User-agent底下选择所有,状态选择不允许抓取,输入路径后点击后面的创建,上图我们测试了两个路径,分别是目录和一个文件,可以一下子输入多个路径,建议先在记事本里面将网址整理好再提交,一行一个路径。

点击创建以后,可以看到,底下的t内容中出现的代码,而且百度站长平台Robots工具有一个好处就是,不论你是多层目录还是网站单文件页面,它都自动识别后排序生成,不会造成单页面和目录顺序错乱造成蜘蛛抓取t的时候出现毛病,所以我们大没必要担心格式问题了。

将所有需要屏蔽的页面或路径都生成以后,点击底下的下载,然后将t上传到网站根目录就可以了。

小提示:t上传以后,我们可以通过robots检测工具来实验一下t是不是有效或有甚么毛病,CHINAZ、SEOWHY、爱站等网站都有相干工具的。

建议用一个记事本搜集404状态页面,然后整理存档,每次发现IIS日志中有新的404页面出现,就在之前的存档里面查找一下是不是有重复,没有重复就可以直接添加到t文件中了。

本文由利川在线://.445400.原创,转载请注明出处。