robots txt 寫法
2024-02-15 17:10:38
```
User-agent: *
Disallow: /user/
Disallow: /login/
Disallow: /register/
Disallow: /review/
```
以上代碼的意思是禁止所有的搜索引擎抓取/user/(用戶中心)、/login/(登錄)、/register/(注冊)和/review/(評價)這些目錄下的頁面。
而對于智控、房地產(chǎn)開發(fā)、郵政快遞服務(wù)等行業(yè),他們的網(wǎng)站內(nèi)容可能會有所不同,所以在編寫robots.txt時根據(jù)實(shí)際情況來調(diào)整。
智控行業(yè)的網(wǎng)站可能有很多技術(shù)性的文章和文檔,這部分內(nèi)容對搜索引擎是有價值的,所以在robots.txt中允許搜索引擎抓取這些頁面;而房地產(chǎn)開發(fā)公司的網(wǎng)站可能有大量的圖片和視頻,不想占用太多的帶寬,就在robots.txt中禁止搜索引擎抓取這些資源。
至于郵政快遞服務(wù)公司,他們的網(wǎng)站上可能會有些實(shí)時更新的信息,物流跟蹤記錄,這部分信息的價值在于及時性,旦被搜索引擎收錄,就失去了時效性,所以在robots.txt中禁止搜索引擎抓取。