搜索引擎通過站長們提供資源，來滿足用戶的搜索需求，而站長通過搜索引擎將網站的內容傳播出去，獲得有效的流量和用戶。

蜘蛛在抓取過程中雙方都要遵守一定的規范，便于搜索引擎抓取，不要使用過多對搜索引擎不友好的元素。

蜘蛛抓取過程中涉及的網絡協議有以下四種：

1、HTTP協議

HTTP是超文本傳輸協議，在互聯網上被廣泛應用的一種網絡協議，客戶端和服務器端請求和應答的標準。

用戶通過瀏覽器或蜘蛛等對指定端口發起一個請求，HTTP的請求會返回對應的httpheader信息，可以直接查看到是否成功、服務?器類型、網頁最近更新時間等內容。

2、HTTPS協議

HTTPS的安全基礎是SSL，因此加密的詳細內容就需要SSL。

部署HTTPS是需要購買SSL證書上傳到服務器，網站開啟HTTPS：第一可以確保數據在傳輸過程中的安全性，第二用戶可以確認網站的真實性。

3、UA屬性

UA是HTTP協議中的一個屬性。通過UA讓服務器可以識別出用戶使用的操作系統、瀏覽器等等，根據相應的格式進行頁面的調整，為用戶提供更好的瀏覽體驗。

4、Robots協議

搜索引擎在訪問一個網站時，首先會查看網站的根目錄下的robots.txt文件，如果網站上不想被搜索引擎抓取的頁面，可以通過設置robots.txt文件告知搜索引擎。

注意：?robots.txt必須放在網站根目錄下，且文件名要小寫。

有關robots.txt文件的創建可以參考【robots.txt】