使用robots协议文件的注意事项
在之前介绍SEO之后,学生们已经清楚了搜索引擎搜索的原理和网站包含的原理。在本文中,我们向学生介绍了一种称为机器人的文件协议。本协议主要是关于网站管理员通知抓取搜索引擎哪些网页可以抓取,哪些网页不能抓取。为了过滤掉描述性页面,将网站集中到主要产品页面,SEOER的优化效率可以大大提高。现在让我们了解机器人。TXT协议文件在一起。
第六节SEO入门第10课:使用机器人协议文档的网站注意事项
1。机器人的作用是什么?TXT协议文件?
当搜索引擎访问我们的网站时,我们爬行的第一件事就是机器人。存储在网站根目录中的txt文件,它告诉spiders允许和禁止对相关页面进行爬行。从SEO的角度来看,一些描述性页面可以屏蔽,并集中分配权重给主列页面。这也是赛尔非常重视机器人的地方。
2。为网站管理员设置robots.txt协议有什么好处?
我们必须非常熟悉黑客行业。当黑客入侵网站时,其中一个技术就是模仿搜索引擎的爬行,给机器人设置一些非常重要的文件。TXT的禁止访问权限,可以很好地保护网站的安全。
第二个优点是禁止蜘蛛抓取无效的页面,节省蜘蛛爬行时间,并将重量集中在主栏页面上。
三。如何写机器人。TXT协议?
在编写robots.txt协议时,我们需要掌握几个概念。
用户代理是指定义哪个搜索引擎,如用户代理:百度蜘蛛,定义百度蜘蛛。
不允许拒绝访问。
allow表示运行访问。
通过以上三个命令,您可以组合多种写入方式,以允许哪个搜索引擎访问或禁止哪个页面。
4。机器人在哪里?TXT文件?
机器人。txt文件必须放在我们网站的根目录中。文件名在命名时都是小写字母。输入命令的第一个字母(可以与三个已写入命令比较)必须大写。其余的都是小写的。命令后面必须跟一个英文字符空格。
5。网站上哪些页面需要安装机器人。TXT协议?
网站后台页面和网站后台页面用于设置网站功能,供网站管理员查看数据。一定要放置机器人。禁止爬行的txt文件。
动态页面,在构建多个网站时,动态页面在转换为伪静态页面时不会被屏蔽,从而导致两个网站同时访问同一页面,导致页面权重的分散,也不利于网站的SEO优化。