可點選QR code
文章專區
SEO與搜尋行銷相關
meta robots 與 Robots.txt 的差別與使用時機
在網站排除檢索的部分，先前本站淺談過 Robots.txt 主要是應用在提交給搜尋引擎不需要檢索的頁面名單，也介紹過 Robots.txt 的實際應用與設定，因此瞭解排除"檢索"的部分後，我們將要更進階的介紹排除"索引"部分，反觀由開始淺談部分時，我們曾提到搜尋引擎其實是透過的"檢索"與"索引"兩種功能來將網站網頁資訊進行收錄並提供使用者查詢，所以淺談 Robots.txt主要是針對檢索這項功能進行排除。
而檢索與索引這兩項功能雖然有極大的關聯性，但實質上在網頁上進行的動作並不相同，這邊我們用更白話的敘述就是
檢索 = 檢查
索引 = 收藏
所以搜尋引擎在實際上的運作順序是先透過檢查頁面內容與連結後，才決定是否要收藏，因此 Robots.txt 的作用就是在搜尋引擎來訪時，藉由直接提出不需要檢查的資訊，想當然爾就更不可能會被收藏，達到不檢查、不收錄的效果。
在更明確的知道搜尋引擎的收錄原理後，我們將要介紹的部分是 透過 meta robots 進行"索引"的排除，這時相信大家將會些疑惑，Robots.txt不就能達到不檢查、不收錄的效果了，為什麼還需要 meta robots 進行"索引"的排除呢?這部分主要原因就是 Robots.txt 會使尋引擎直接在不檢查這個步驟中就會忽略相關的內容，甚至不認為這是網站的內容；但是 meta robots 的應用，可以使搜尋引擎先進行"檢查"也仍然會將內容視為網站的一部份，但不要收藏提供使用者搜尋，所以這部分差異也會引響網站的總體完整性，因此在非必要的情況下，並不建議使用 Robots.txt的使用，而是推薦 meta robots 的使用。
