您当前的位置:首页 > 电脑百科 > 程序开发 > 开源程序 > WordPress

一文教你如何编写wordpress的robots.txt文件

时间:2019-11-03 16:00:18  来源:  作者:
一文教你如何编写wordpress的robots.txt文件

如何编写wordPress/ target=_blank class=infotextkey>WordPress的robots.txt文件

【robots.txt文件编写规则】

不论我们seo站长用什么建站程序,都应该了解掌握robots文件的编写规则和格式,那么robots文件的格式规则是怎样的呢?

1、User-agent:该项的值用于描述搜索引擎robot的名字。

例子:User-agent:Baiduspider ,指的就是百度搜索引擎蜘蛛。

2、Disallow:该项的值用于描述不希望被访问的一组URL,这个值可以是一条完整的路径,也可以是路径的非空前缀,以Disallow项的值开头的URL不会被 robot访问。

例子1:Disallow: /wp-admin/,指的是不允许访问wp-admin文件夹下面的内容,但是不限制访问wp-admin.php、wp-admin.html文件。例子2:Disallow: /wp-admin,指的是不允许访问wp-admin文件夹下面的内容以及wp-admin.php、wp-admin.html文件。

3、Allow:该项的值用于描述希望被访问的一组URL,与Disallow项相似,这个值可以是一条完整的路径,也可以是路径的前缀,以Allow项的值开头的URL 是允许robot访问的。

例子:Allow: /wp-content/uploads/,指的是允许访问wp-content文件夹下面的uploads文件夹的内容。

4、使用"*"和"$":Baiduspider支持使用通配符"*"和"$"来模糊匹配url。 "*" 匹配0或多个任意字符 "$" 匹配行结束符。

例子1:User-agent:*,指的是所有搜索引擎蜘蛛(或机器人)。例子2:Disallow: /*.css$,指的是不允许访问任何后缀为.css文件。

5、Sitemap:用来告诉搜索引擎网站地图的位置。

例子:Sitemap: https://你的域名/sitemap.xml,其中sitemap.xml是你的网站的网站地图文件

编写注意事项:

①百度会严格遵守robots的相关协议,请注意区分您不想被抓取或收录的目录的大小写;

②百度会对robots中所写的文件和您不想被抓取和收录的目录做精确匹配,否则robots协议无法生效。

③一定是英文输入法格式下的“空格”和符号,因为代码是英文格式的

【wordpress的robots怎么写最佳】

1、我们当然希望所有的搜索引擎都来抓取网站。因此,我们可以写

User-agent:*

2、为了避免收录WordPress系统文件,因为系统文件对于用户来说没用处,收录了反而容易被人黑站,因此应该屏蔽了WordPress的后台文件。

Disallow: /wp-admin/Disallow: /wp-includes/Disallow: /wp-content/

3、每个默认的文章页面代码里,都有一段trackback的链接,如果不屏蔽让蜘蛛去捉取,网站会出现重复页面内容问题。

Disallow: /*/trackback

4、头部代码里的feed链接主要是提示浏览器用户可以订阅本站,而一般的站点都有RSS输出和网站地图,故屏蔽搜索引擎捉取这些链接,提高蜘蛛的抓取效率。

Disallow: /feedDisallow: /*/feedDisallow: /comments/feed

5、这个是屏蔽捉取站内搜索结果。站内没出现这些链接不代表站外没有,如果收录了会造成和TAG等页面的内容相近。

Disallow: /*?*Disallow: /?s=*Disallow: /*/?s=*

6、屏蔽留言链接插件留下的变形留言链接。

Disallow: /?r=*

7、屏蔽捉取留言信息链接。一般不会收录到这样的链接,但为了更好地让蜘蛛高效抓取和工作,也该屏蔽。

Disallow: /*/comment-page-*Disallow: /*?replytocom*

8、网站地图地址指令,主流是txt和xml格式。告诉搜索引擎网站地图地址,方便搜索引擎捉取全站内容。另外要注意Sitemap的S要用大写,地图地址也要用绝对地址。

Sitemap: https://你的域名/sitemap.xml

综上所述,整个robots文件就是:

User-agent:*

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /wp-content/

Disallow: /*/trackback

Disallow: /feed

Disallow: /*/feed

Disallow: /comments/feed

Disallow: /*?*

Disallow: /?s=*

Disallow: /*/?s=*

Disallow: /?r=*

Disallow: /*/comment-page-*

Disallow: /*?replytocom*

Sitemap: https://你的域名/sitemap.xml

我们就可以利用robtos协议优化wordpress网站的被抓取和收录的速度,根据上面的robots文件内容,按照实际情况增加自己所需要的,希望能够帮助刚接触wordpress建站的站长更快上手。


品牌简介:L氪迹免费SEO教程学习|佛山SEO技术分享本站文章由佛山SEO技术教程学习网发布,作者:L氪迹,如若转载请注明原文及出处



Tags:wordpress   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,如有任何标注错误或版权侵犯请与我们联系,我们将及时更正、删除,谢谢。
▌相关推荐
当访问者访问您的网站时,您只有几秒钟的时间来显示这个人正在寻找的信息,否则,他们只需点击浏览器的后退按钮,开始浏览器别的同类型的网站了。缓慢的WordPress网站会给您的访问...【详细内容】
2020-08-20  Tags: wordpress  点击:(60)  评论:(0)  加入收藏
WordPress 5.5如期而至,更新优化的主要三个领域:速度,搜索和安全。主要内容速度方面主要体现图片的加载优化上面,新版本采用了懒加载模式,在滚动到对应的位置,才会加载真实的图片...【详细内容】
2020-08-17  Tags: wordpress  点击:(41)  评论:(0)  加入收藏
【ALENG 自媒体】8月11日早间自媒体专稿,话说从2008年涉足独立博客至今,掐指一算,走独立博客这一行已经10多年了。10多年间,我的独立博客网站先后使用过早期的Z-blog博客系统,后...【详细内容】
2020-08-12  Tags: wordpress  点击:(58)  评论:(0)  加入收藏
安装好nginx、php、mysql之后,需要经过配置,才能使用起LNMP的环境。...【详细内容】
2020-08-06  Tags: wordpress  点击:(42)  评论:(0)  加入收藏
一台云服务器能做什么?上次介绍了薅腾讯云和阿里云两家厂商羊毛的方法和过程,那到手的云主机要干什么用呢?或者说,云主机有什么用?过了这么多年,"上云"这个说法好像并没有过时。简...【详细内容】
2020-08-04  Tags: wordpress  点击:(48)  评论:(0)  加入收藏
一般的大型网站系统,都依赖伪静态。如果服务器的伪静态没有配置好,访问部分链接就会出现 404 的情况。在 WordPress 则具体表现为后台“固定链接”选项设置失效。 下面就提供...【详细内容】
2020-07-04  Tags: wordpress  点击:(71)  评论:(0)  加入收藏
在本地的 Mac 电脑上配置开发环境安装 homeBrew安装 PHP 7 和 Composer安装 Valet配置 Valet安装 MySQL安装 WordPress在 Windows 电脑上配置开发环境安装 PHPstudy安装 Wor...【详细内容】
2020-06-20  Tags: wordpress  点击:(74)  评论:(0)  加入收藏
操作场景WordPress 是一款使用 PHP 语言开发的博客平台,您可使用通过 WordPress 搭建属于个人的博客平台。本文以 CentOS 7.6 操作系统的腾讯云云服务器为例,手动搭建 WordPre...【详细内容】
2020-04-27  Tags: wordpress  点击:(48)  评论:(0)  加入收藏
2020年3月31日,wordpress今年重磅的5.4版本更新了,第一时间为大家带来最新版的安装包。这个新版本包含许多功能,其中许多功能都围绕WordPress古腾堡编辑器进行。此版本将大大改...【详细内容】
2020-04-26  Tags: wordpress  点击:(51)  评论:(0)  加入收藏
随着自媒体平台对内容审核日趋严格,对于心中有墨又不想受限于平台的用户来说,搭建一个属于自己的内容发布网站将变得越来越有意义了。本文将手把手教你如何通过Wordpress搭建...【详细内容】
2020-04-21  Tags: wordpress  点击:(60)  评论:(0)  加入收藏
▌简易百科推荐
当访问者访问您的网站时,您只有几秒钟的时间来显示这个人正在寻找的信息,否则,他们只需点击浏览器的后退按钮,开始浏览器别的同类型的网站了。缓慢的WordPress网站会给您的访问...【详细内容】
2020-08-20      Tags:wordpress   点击:(60)  评论:(0)  加入收藏
WordPress 5.5如期而至,更新优化的主要三个领域:速度,搜索和安全。主要内容速度方面主要体现图片的加载优化上面,新版本采用了懒加载模式,在滚动到对应的位置,才会加载真实的图片...【详细内容】
2020-08-17      Tags:Wordpress5.5   点击:(41)  评论:(0)  加入收藏
【ALENG 自媒体】8月11日早间自媒体专稿,话说从2008年涉足独立博客至今,掐指一算,走独立博客这一行已经10多年了。10多年间,我的独立博客网站先后使用过早期的Z-blog博客系统,后...【详细内容】
2020-08-12      Tags:WordPress   点击:(58)  评论:(0)  加入收藏
安装好nginx、php、mysql之后,需要经过配置,才能使用起LNMP的环境。...【详细内容】
2020-08-06      Tags:WordPress   点击:(42)  评论:(0)  加入收藏
一台云服务器能做什么?上次介绍了薅腾讯云和阿里云两家厂商羊毛的方法和过程,那到手的云主机要干什么用呢?或者说,云主机有什么用?过了这么多年,"上云"这个说法好像并没有过时。简...【详细内容】
2020-08-04      Tags:WordPress   点击:(48)  评论:(0)  加入收藏
一般的大型网站系统,都依赖伪静态。如果服务器的伪静态没有配置好,访问部分链接就会出现 404 的情况。在 WordPress 则具体表现为后台“固定链接”选项设置失效。 下面就提供...【详细内容】
2020-07-04      Tags:WordPress   点击:(71)  评论:(0)  加入收藏
在本地的 Mac 电脑上配置开发环境安装 homeBrew安装 PHP 7 和 Composer安装 Valet配置 Valet安装 MySQL安装 WordPress在 Windows 电脑上配置开发环境安装 PHPstudy安装 Wor...【详细内容】
2020-06-20      Tags:WordPress   点击:(74)  评论:(0)  加入收藏
操作场景WordPress 是一款使用 PHP 语言开发的博客平台,您可使用通过 WordPress 搭建属于个人的博客平台。本文以 CentOS 7.6 操作系统的腾讯云云服务器为例,手动搭建 WordPre...【详细内容】
2020-04-27      Tags:WordPress   点击:(48)  评论:(0)  加入收藏
2020年3月31日,wordpress今年重磅的5.4版本更新了,第一时间为大家带来最新版的安装包。这个新版本包含许多功能,其中许多功能都围绕WordPress古腾堡编辑器进行。此版本将大大改...【详细内容】
2020-04-26      Tags:wordpress   点击:(51)  评论:(0)  加入收藏
随着自媒体平台对内容审核日趋严格,对于心中有墨又不想受限于平台的用户来说,搭建一个属于自己的内容发布网站将变得越来越有意义了。本文将手把手教你如何通过Wordpress搭建...【详细内容】
2020-04-21      Tags:Wordpress   点击:(60)  评论:(0)  加入收藏
最新更新
栏目热门
栏目头条