国产视频app昨天在做一個定制插件的時候,由于插件的需求需要屏蔽掉未登錄的用戶訪問,但是又不能讓搜索引擎的蜘蛛也掛掉。雖然插件最后很順利的出爐了,但是在測試蜘蛛訪問這方面,有點難度了。那么這篇文章就說一說,如何讓瀏覽器模擬搜索引擎的蜘蛛訪問,來測試網站是否能正常打開。

所使用的工具

Google Chrome 網絡瀏覽器

Chrome 擴展插件:User-Agent Switcher for Chrome

安裝 User-Agent Switcher for Chrome 插件

国产视频app1、打開 chrome 瀏覽器

如果你沒有安裝這個瀏覽器,就得先去安裝了。怎么去安裝 chrome 這里不再介紹了。

2、訪問谷歌的網上應用商店,地址如下:

http://chrome.google.com/webstore/category/extensions?hl=zh-CN

瀏覽器模擬搜索引擎蜘蛛訪問

點擊放大圖片

3、搜索插件并下載

搜索 User-Agent Switcher for Chrome ,并出現如下圖所示的搜索結果,我們點擊“添加至Chrome”即可

瀏覽器模擬搜索引擎蜘蛛訪問

點擊放大圖片

4、安裝過程中,會提示 “是否添加擴展程序”一類的,點擊“添加擴展程序即可”

瀏覽器模擬搜索引擎蜘蛛訪問

點擊放大圖片

国产视频app5、安裝完成后,會有如下的提示

瀏覽器模擬搜索引擎蜘蛛訪問

點擊放大圖片

使用 User-Agent Switcher for Chrome 插件

国产视频app1、瀏覽器地址,輸入如下代碼

chrome://extensions/

国产视频app2、找到剛才安裝的插件,并點擊“選項”

瀏覽器模擬搜索引擎蜘蛛訪問

點擊放大圖片

国产视频app3、新建立一條 User-Agent 信息,如下圖

瀏覽器模擬搜索引擎蜘蛛訪問

點擊放大圖片

国产视频app4、訪問你的網站,并選擇相應的訪問方式。

国产视频app這里你可以選擇不同的訪問 User-Agent ,比如 IOS ,Safari,IE,Android 等

點擊放大圖片

點擊放大圖片

国产视频app5、查看控制臺的 Request Headers 信息中的 user-agent 

啟用控制臺,這里不再多說,按 F12 或者 鼠標右鍵 審核元素

瀏覽器模擬搜索引擎蜘蛛訪問

點擊放大圖片

補充:

国产视频app以下為部份搜索引擎的蜘蛛 user-agent ,大家可以選擇自己要測試的

百度:Mozilla/5.0+(compatible;+Baiduspider/2.0;++http://www.baidu.com/search/spider.html)
谷歌:Mozilla/5.0+(compatible;+Googlebot/2.1;++http://www.google.com/bot.html)
搜狗:Sogou+web+spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)
Bing:Mozilla/5.0+(compatible;+bingbot/2.0;++http://www.bing.com/bingbot.htm)