跳到主要內容

php解析進入網站搜尋爬蟲,並針對不同的搜尋爬蟲定義顯示或隱藏內容的方法。

解析進入網站搜尋爬蟲,並針對不同的搜尋爬蟲定義顯示或不顯示內容的方法.。
1、範例說明
//解析進入網站的瀏覽器版本
$browser = $_SERVER['HTTP_USER_AGENT'];
//將不想顯示內容的網路爬蟲加入
$reptile = array(
'Googlebot' , // Google爬蟲
'Yahoo! Slurp' , //雅虎爬蟲
'msnbot' // Bing爬蟲
);
//進行判斷比對,如有出現為設定隱藏的搜尋爬蟲,則回傳true
foreach ($reptile as $k){
if (strpos("/{$browser}/i", $k) !== false) {
$webreptil=true;
}
}


2、將於需要隱藏不被搜尋爬蟲蒐錄的內容加入判斷
if($webreptil!=true){
$main=" 此為不想被搜尋爬蟲收錄顯示的內容";
}
echo $main;
以上內容當判斷條件成立時,將不會輸出於前端頁面,這樣yahoo,msn,Google搜尋爬蟲在收錄此頁資料時,自然也不會收錄這些被隱藏的內容。


教學撰寫:徐嘉裕Neohsu

留言

  1. 您好 請問 如果我要用您的程式碼寫一個php檔
    過濾進網站的電腦 去顯示或隱藏網頁上的資訊
    這樣請問 php檔完整的檔案名是??
    內文除了使用您的code碼還需要額外加??

    我的問題是 想對各爬搜尋蟲優化
    但優化僅只是當搜尋爬蟲抓取網頁時
    多顯示網頁上的文字與超連結

    ps我是菜鳥新手 如有打擾請多見諒!!!
    或者您有任何建議爬文的地方 請您不另色告訴小弟

    回覆刪除

張貼留言

這個網誌中的熱門文章

好用的windows備份檔案dos指令XCOPY-教學撰寫:徐嘉裕Neil hsu

要快速的備份某個硬碟全部資料到備份硬碟中,雖然是可以用windows內建的備份與還原,但如果重灌windows可會有key不同而無法還原的問題,還要改一堆設定煩死了,直接用dos指令XCOPY來做檔案的複製就很快了,資料也不會丟失,好朋友可以參考看看!! 首先開啟windows所有程式->附屬應用程式->開啟命令提示字元! 然後輸入以下指令 XCOPY C:\xxx   F:\xxx /s 藍字的 C:\xxx  為複製檔案來源位置例如要複製整個C槽就輸入 C:\ 綠色的   F:\xxx 為複製目的位置,例如要放到F槽的備份資料夾,就輸入  F:\ 備份 紅字的 S 為複製類型參數,可以自行修改為以下的參數設定: ================================================================= /A    只複製設定成保存屬性的檔案,不要改變屬性的設定。 /M    只複製設定成保存屬性的檔案,並清除保存屬性。 /D:m-d-y  複製指定日期當天或之後變更的檔案。如果沒給日期,只複製那些來源檔案日期比目的檔案日期為新的檔案。 /EXCLUDE:file1[+file2][+file3]...         指定檔案清單字串。每個字串應在不同行。如果有字串對應到要進行複製的檔案絕         對路徑的任何部分,這個檔案會被排除複製。例如,指定字串         \obj\ 或 .obj 的話,會排除所有在 obj 目錄下副檔名是.obj 的檔案複製。 /P    在建立每個目的檔案時顯示提示。 /S    複製每個目錄及其包含的子目錄,不複製空目錄。 /E    複製每個目錄及其包含的子目錄,也複製空目錄。/S 與 /E相同,能夠用來修改 /T。 /V   ...

XAMPP自行下載PHP官方PHP8.3升級方法

目前這方法只適用於Windows安裝的Xampp,可以下PHP官網的PHP8.3包進行升級,如果是LINUX安裝的LAMPP此方法不適用,可直接跳過! 因為本地端的開發環境需要更高的PHP版本來測試模組,而XAMPP官網釋出的PHP版本只有到PHP8.2,無法滿足需求,只好自己動手DIY升級了,其實方法也很簡單,說明如下: 1、先關閉Xampp Panel的Apache跟Mysql 2、前往PHP官網,下載PHP8.3包(VS16 x64 Thread Safe) 下載連結: https://windows.php.net/download#php-8.3-ts-vs16-x64 重要 (必看) :要下載PHP包必須是"Thread Safe"版本,才正確,因為需要以下4檔 LoadFile "/xampp/php/php8ts.dll" LoadFile "/xampp/php/libpq.dll" LoadFile "/xampp/php/libsqlite3.dll" LoadModule php_module "/xampp/php/php8apache2_4.dll" 必須要有完整四個檔,否則apache跑不起來,升級PHP8.4也是一樣原理 3、吧下載回來的php包放解壓縮放到php資料夾裡面(建立一個php資料夾),然後吧Xampp根目錄中的php檔案更名,例如改為php_8.1,再吧剛剛下載建立的php資料夾放到Xampp根目錄中c:\xampp\php 4、進入php根目錄,找到php.ini-development,複製一份後改為php.ini,用文字編輯器打開進入 5、先搜尋;extension_dir,在下面加上extension_dir = "\xampp\php\ext" 6、再搜尋;extension=curl,會有下面這一排啟用套件設定 將以下套件的;註解拿掉 extension=curl extension=fileinfo extension=gd extension=gettext extension=mbstring extension=exif      extension=mysqli extension...

Google行事曆設定和共用的方法,可以讓多人共同發佈事件在同一個月曆上!!(共同管理)

Google行事曆有一個功能就是可以【設定和共用】,讓多人共同發佈事件在同一個月曆上,共同管理,例如建立了一個主行事曆,然後要讓A,B,C能同時在這主行事曆上發佈事件(新增/編輯/刪除),方法很簡單的,首先,先要取得A,B,C的E-MAIL帳號 然後前往Google行事曆首頁,左下方的我的日曆,找到需要共同發佈事件的月曆,點選右邊的【行事曆選項】 會彈出視窗,選擇【設定和共用】 找到【共用對象】,下面有一個【新增使用者和群組】 點選後會彈出視窗,這裡輸入A,B,C的E-MAIL帳號(可連續操作),下面的權限選擇【進行變更並管理共同設定】(或是按需求自定) 完成後點選右下角的傳送,這樣A,B,C就會收到共用日曆的邀請,點選郵件中的【加入共用日曆】就可以在主日曆中發佈事件 最後是A,B,C如果要將事件發佈在主日曆,建立事件時,左邊有一個行事曆的ICON及下拉選單,選單要選取主日曆的名稱,不然事件會發在自己的日曆上,主日曆不會顯示。 為了避免日後又忘記操作步驟,寫成工作紀錄保存,順便分享給有需要的朋友參考! 工作心得撰寫: 徐嘉裕 Neil hsu