搞過網站的朋友都知道robots.txt文件是用來限制搜索引擎不亂抓取,只抓取我們希望被收錄的內容的。比如我們網站的后臺就不希望被搜索抓取,那么robots文件需要這樣寫:
User-agent: *
Disallow: /admin/
但是這樣我們很容易發現了一個問題,如果有人要破解攻擊的話,很容易就知道了后臺,一下子就清楚了網站的結構。
我們并不想這樣!
有沒有辦法讓robots.txt既能限制搜索引擎,又不泄露后臺地址和隱私目錄呢?有!
一、使用通配符(*):
User-agent: *
Disallow: /a*/
這樣的寫法,禁止所有的搜索引擎抓取根目錄下a開頭的目錄。當您的后臺是admok165的話,還有誰會看到呢?
二、只寫目錄前幾個字母,不寫全:
User-agent: *
Disallow: /ad
這種的寫法,是禁止所有的搜索引擎抓取根目錄下ad開頭的目錄。
最后說明一下,以上這兩種方法,需要網站目錄沒有相同字母開頭的,例如ad目錄,如果有兩個一樣的,那需在robots.txt文件里再加上一個字母區別開來。
聲明:本站所有文章,如無特殊說明或標注,均為本站原創發布。任何個人或組織,在未征得本站同意時,禁止復制、盜用、采集、發布本站內容到任何網站、書籍等各類媒體平臺。如若本站內容侵犯了原著者的合法權益,可聯系我們進行處理。