国产视频app今天有人說可以利用 html 頁面的中 meta 標簽來屏蔽搜索引擎蜘蛛的抓取或不讓蜘蛛抓取網頁中的其它鏈接,本著好奇的精神,就查了一些相關的資料,發現了一串類似 <meta name='robots' content='noindex,nofollow' /> 這樣的HTML代碼,可以告訴來網頁爬取的蜘蛛本頁內容是否可以抓取,是否可以抓取網頁上的其它鏈接。

SEO優化之 meta 標簽的解析

html meta標簽的代碼如下:

<meta name='robots' content='noindex,nofollow' />

解釋:

name :是指的所有的搜索引擎.它的值有多個,下面列出幾個。

robots:表示所有的搜索引擎

Baiduspide:百度

国产视频appGooglebot:谷歌

国产视频appcontent:表示對搜索引擎蜘蛛的行為做出指示,它有下面的幾值來表示。

index:允許本頁被抓取

国产视频appnoindex:禁止許本頁被抓取

follow:允許本頁的上其它鏈接可以被跟蹤抓取

nofollow:禁止本頁上的其它鏈接被跟蹤抓取

noarchive:禁止搜索引擎對網站建立快照

SEO優化之 meta 標簽的用法

根據上面 content 屬性的四個值,我們可以列出以下幾個組合的用法:

<meta name='robots' content='index,follow' />:可以抓取本頁,也可以順著本頁繼續索引別的鏈接

<meta name='robots' content='noindex,follow' />:禁止抓取本頁,但可以抓取跟蹤本頁的其它鏈接

国产视频app<meta name='robots' content='index,nofollow' />:可以抓取本頁,禁止抓取和跟蹤本頁的其它鏈接

<meta name='robots' content='noindex,nofollow' />:禁止抓取本頁,禁止抓取和跟蹤本頁的其它鏈接

国产视频app<meta name='robots' content='noarchive' />:禁止搜索引擎建立快照

需要注意的是:

国产视频app1、index 與 follow 的組合可以簡化為 all 

国产视频app<meta name='robots' content='index,follow' /> 

可以寫成

<meta name='robots' content='all' /> 

2、noindex 與 nofollow 組合可以簡化為 none

国产视频app<meta name='robots' content='noindex,nofollow' /> 

可以寫成

国产视频app<meta name='robots' content='none' /> 

国产视频app3、相反的屬性值是不能寫在一樣的,比如 index 與 noindex 不能寫到一起,follow 與 nofollow 不能寫到一起

国产视频app下面的兩個示例是錯誤的

<meta name='robots' content='index,onindex' /> 

<meta name='robots' content='follow,onfollow' />