今天無事查看了一下網站的訪問日志,發現日志中有不少神馬搜索引擎的來訪記錄。就寫了一段php代碼,用來統計一下神馬搜索訪問的數據,以便做出合理的優化方案。

php判斷神馬搜索引擎蜘蛛蜘蛛的方法

神馬搜索來源記錄以及User Agent

以下為設神馬搜索引擎的來訪問User Agent,帶用來訪問的IP地址

42.156.137.14 - "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 YisouSpider/5.0 Safari/537.36"
106.11.156.57 - "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 YisouSpider/5.0 Safari/537.36"
42.156.137.33 - "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 YisouSpider/5.0 Safari/537.36"
42.156.137.44 - "Mozilla/5.0 (iPhone; CPU iPhone OS 10_3 like Mac OS X) AppleWebKit/602.1.50 (KHTML, like Gecko) CriOS/56.0.2924.75 Mobile/14E5239e YisouSpider/5.0 Safari/602.1"
106.11.153.124 -  "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 YisouSpider/5.0 Safari/537.36"

php判斷搜索引擎是否為神馬搜索

国产视频app通過上面的三條 User Agent 信息,可以發現它們都有一個共同的 YisouSpider 字段,也就是說 User Agent 中含有 YisouSpider 字段的來訪者即為神馬搜索引擎的蜘蛛。我們可以利用php腳本,來檢索 User Agent 的 YisouSpider 字段,來判斷來訪問者是否為神馬搜索引擎的蜘蛛,并做出相應有處理

php代碼

<?php
//飛鳥慕魚博客
function is_yisouspider(){
    $ua= addslashes(strtolower($_SERVER['HTTP_USER_AGENT']));
    if (strpos($ua, 'yisouspider') !== false) {
        return true;
    }
    return false;
}
?>

函數調用:

<?php
if(is_yisouspider()){
    echo 'yes';
}else{
    echo 'no';
}
?>

神馬搜索引擎蜘蛛IP地址

国产视频app以下為神馬搜索引擎蜘蛛的來訪IP地址,你可以通過判斷IP的方式,來判斷是否為神馬搜索引擎。

注:個別攻擊者會人偽造神馬搜索引擎的 User Agent,當然IP可以被偽造

42.156.136.0/24:表示IP段,42.156.136.1 到 42.156.136.254

42.156.136.0/24

42.156.137.0/24

国产视频app42.156.138.0/24

国产视频app42.156.139.0/24

42.120.160.0/24

42.120.161.0/24

国产视频app42.156.254.0/24

国产视频app42.120.234.0/24

国产视频app42.120.235.0/24

国产视频app42.120.236.0/24

106.11.152.0/24

106.11.153.0/24

国产视频app106.11.154.0/24

106.11.155.0/24

国产视频app106.11.156.0/24

106.11.157.0/24

国产视频app106.11.158.0/24

106.11.159.0/24