Robots.txt 是什麼?

 在SEO搜尋引擎優化當中，大家都會非常在意自己經營的網站是不是有被各家搜尋引擎完整的收錄頁面資訊，原因當然是網站頁面有被收錄索引，才能夠被使用者找到並增加網站的搜尋能見度，但其實管理人員也必須思考注意的部分是，假設：尚未完成或修改調整中的頁面、管理員的登入介面、重複的諮詢頁面等...，這些網站內容並不全然適合被搜尋引擎收錄、並提供搜尋呈現給外在搜尋者查看。