php解析進入網站搜尋爬蟲,並針對不同的搜尋爬蟲定義顯示或隱藏內容的方法。

解析進入網站搜尋爬蟲,並針對不同的搜尋爬蟲定義顯示或不顯示內容的方法.。
1、範例說明
//解析進入網站的瀏覽器版本
$browser = $_SERVER['HTTP_USER_AGENT'];
//將不想顯示內容的網路爬蟲加入
$reptile = array(
'Googlebot' , // Google爬蟲
'Yahoo! Slurp' , //雅虎爬蟲
'msnbot' // Bing爬蟲
);
//進行判斷比對,如有出現為設定隱藏的搜尋爬蟲,則回傳true
foreach ($reptile as $k){
if (strpos("/{$browser}/i", $k) !== false) {
$webreptil=true;
}
}


2、將於需要隱藏不被搜尋爬蟲蒐錄的內容加入判斷
if($webreptil!=true){
$main=" 此為不想被搜尋爬蟲收錄顯示的內容";
}
echo $main;
以上內容當判斷條件成立時,將不會輸出於前端頁面,這樣yahoo,msn,Google搜尋爬蟲在收錄此頁資料時,自然也不會收錄這些被隱藏的內容。


教學撰寫:徐嘉裕Neohsu

留言

  1. 您好 請問 如果我要用您的程式碼寫一個php檔
    過濾進網站的電腦 去顯示或隱藏網頁上的資訊
    這樣請問 php檔完整的檔案名是??
    內文除了使用您的code碼還需要額外加??

    我的問題是 想對各爬搜尋蟲優化
    但優化僅只是當搜尋爬蟲抓取網頁時
    多顯示網頁上的文字與超連結

    ps我是菜鳥新手 如有打擾請多見諒!!!
    或者您有任何建議爬文的地方 請您不另色告訴小弟

    回覆刪除

張貼留言

這個網誌中的熱門文章

jquery.datepicker下拉月曆只顯示年-月的設定方法-教學撰寫:徐嘉裕Neil hsu

jQuery用.each()取代for迴圈

在CentOS7上安裝XAMPP並設定允許外部連線phpmyadmin的方法-教學撰寫:徐嘉裕Neil hsu