當(dāng)前位置：
  1. 首頁(yè)
  2. 知識(shí)學(xué)院
  3. 正文

如何使用Robots來處理網(wǎng)站死鏈接？覺得今天很有必要跟大家分享一下Robots與死鏈的關(guān)系，這幾天已經(jīng)遇到了好幾個(gè)er在混淆這兩個(gè)概念了，老是把Robot的應(yīng)用與死鏈的處理，搭配到一起去使用，Seven足足碼字好幾百，聊天記錄都說了兩頁(yè)了，回頭還是問了句，“怎么在robot中寫死鏈提交”，我在想一定是我表達(dá)的方式不對(duì)，下面給大家捋捋思路：

 

Robot的應(yīng)用：主要用于定義允許/禁止哪些搜索引擎蜘蛛的爬取，允許/禁止蜘蛛可以爬取的網(wǎng)站路徑，允許/禁止蜘蛛爬取URL的規(guī)則，告訴某些搜索引擎的URL，例如我的Robot就簡(jiǎn)單簡(jiǎn)單定義了幾個(gè)規(guī)則:

死鏈的處理：這里針對(duì)百度搜索引擎討論，主要還是到站長(zhǎng)工具里面，把死鏈提交給百度，告訴百度這個(gè)鏈接不存在，請(qǐng)求刪除之前的收錄，這里是以txt或xml形式批量提交死鏈給百度；

 

現(xiàn)在談?wù)勊梨溑cRobot的關(guān)系，很多人就把死鏈提交到Robots定義里面，認(rèn)為用Disallow來禁止的抓取，這個(gè)想法是好的，出發(fā)點(diǎn)無非是不想讓百度收錄自己網(wǎng)站的死鏈，但是有沒有考慮到快照問題，就是這個(gè)鏈接是個(gè)死鏈，但是在網(wǎng)站收錄里面還有快照存在，你就會(huì)想，是不是百度還能抓取到我的死鏈，所以你就在Robot里面加了N多行的Disallow，來禁止百度收錄你的死鏈，seven一直不太認(rèn)可這么一個(gè)做法，其實(shí)這完全是一個(gè)本末倒置的做法。

 

需要搞清楚死鏈?zhǔn)侨绾萎a(chǎn)生的？死鏈?zhǔn)怯捎谖募h除或者路徑修改產(chǎn)生的不可訪問的鏈接，那么你需要做的第一步是完全清除死鏈，第二步是提交死鏈，而Robots的禁止收錄，是因?yàn)槁窂酱嬖冢悄悴幌Ｍ凰阉饕媸珍洠热缇W(wǎng)站后臺(tái)或者用戶中心一類，所以才加的Disallow去禁止收錄，死鏈?zhǔn)窃L問不到的鏈接，如果你第一步清除完了，存在這個(gè)Disallow的必要嗎？因?yàn)槟悴煌耆宄梨湥瑒?shì)必影響用戶體驗(yàn)。

 

總結(jié)：死鏈?zhǔn)潜仨毲宄模瑢?duì)于搜索引擎而言，網(wǎng)站收錄之前的死鏈一般不會(huì)被收錄，因?yàn)闆]有價(jià)值；收錄之后的死鏈，可能用戶會(huì)在搜索結(jié)果或者站內(nèi)瀏覽時(shí)點(diǎn)擊到，影響用戶體驗(yàn)，所以必須提交死鏈和投訴快照加快死鏈處理。robots與死鏈的關(guān)系很微妙，差別就在于這個(gè)死鏈地址是否還存在于網(wǎng)站內(nèi)鏈當(dāng)中。