搞過網站的朋友都知道robots.txt文件是用來限制搜索引擎不亂抓取，只抓取我們希望被收錄的內容的。比如我們網站的后臺就不希望被搜索抓取，那么robots文件需要這樣寫：
User-agent: *
Disallow: /admin/
但是這樣我們很容易發現了一個問題，如果有人要破解攻擊的話，很容易就知道了后臺，一下子就清楚了網站的結構。
我們并不想這樣！
有沒有辦法讓robots.txt既能限制搜索引擎，又不泄露后臺地址和隱私目錄呢？有！
一、使用通配符（*）：
User-agent: *
Disallow: /a*/
這樣的寫法，禁止所有的搜索引擎抓取根目錄下a開頭的目錄。當您的后臺是admok165的話，還有誰會看到呢？
二、只寫目錄前幾個字母，不寫全：
User-agent: *
Disallow: /ad
這種的寫法，是禁止所有的搜索引擎抓取根目錄下ad開頭的目錄。
最后說明一下，以上這兩種方法，需要網站目錄沒有相同字母開頭的，例如ad目錄，如果有兩個一樣的，那需在robots.txt文件里再加上一個字母區別開來。
聲明：本站所有文章，如無特殊說明或標注，均為本站原創發布。任何個人或組織，在未征得本站同意時，禁止復制、盜用、采集、發布本站內容到任何網站、書籍等各類媒體平臺。如若本站內容侵犯了原著者的合法權益，可聯系我們進行處理。
