我們經(jīng)常會發(fā)現(xiàn)搜索引擎優(yōu)化爬蟲都非常喜歡爬取首頁，以前認(rèn)為大量爬取首頁是好事，因?yàn)楦碌奈恼陆?jīng)常在首頁出現(xiàn)，可以被快速收錄。現(xiàn)在看來，從局部上看是好事，但是從整體上看，爬蟲每次爬取量都是有限的，抓到一定數(shù)據(jù)量就會離開。所以許多有價值的頁面反而沒被抓取到。
在這種情況下，在站內(nèi)的某個頁面被鏈接次數(shù)越多，它被爬蟲抓取的頻率就越高，最典型的例子就是首頁。因此我們根據(jù)數(shù)據(jù)，把爬蟲大量鏈接的頁面，在站內(nèi)許多地方都給nofollow掉，只留個別鏈接，保證爬蟲以前抓取它一兩次即可。這樣在被抓取數(shù)據(jù)量一定的情況下，減少了單一頁面浪費(fèi)的爬蟲流量，自然增大了爬蟲爬取的頁面數(shù)量。這樣你的網(wǎng)站更新頻率自然提高。