由于網(wǎng)站的內(nèi)容經(jīng)常在變化，因此網(wǎng)絡(luò)蜘蛛也需不斷地更新其抓取網(wǎng)頁的內(nèi)容，這就需要網(wǎng)絡(luò)蜘蛛按照一定的周期去掃描網(wǎng)站，查看哪些頁面是需要更新的頁面，哪些頁面是新增頁面，哪些頁面是已經(jīng)過期的死鏈接。搜索引擎的更新周期對搜索引擎搜索的查全率有很大影響。如果更新周期太長，則總會有一部分新生成的網(wǎng)頁搜索不到；周期過短，技術(shù)實現(xiàn)會有一定難度，而且會對帶寬、服務(wù)器的資源都有浪費(fèi)。搜索引擎的網(wǎng)絡(luò)蜘蛛并不是所有的網(wǎng)站都采用同一個周期進(jìn)行更新，對于一些重要的更新量大的網(wǎng)站，更新的周期短，如有些新聞網(wǎng)站，幾個小時就更新一次；相反對于一些不重要的網(wǎng)站，更新的周期就長，可能一兩個月才更新一次。    

     一般來說，網(wǎng)絡(luò)蜘蛛在更新網(wǎng)站內(nèi)容的時候，不用把網(wǎng)站網(wǎng)頁重新抓取一遍，對于大部分的網(wǎng)頁，只需要判斷網(wǎng)頁的屬性（主要是日期），把得到的屬性和上次抓取的屬性相比較，如果一樣則不用更新。

     分析表明，網(wǎng)絡(luò)蜘蛛在搜索引擎中占有重要位置，對搜索引擎的查全、查準(zhǔn)都有影響，決定了搜索引擎數(shù)據(jù)容量的大小，而且網(wǎng)絡(luò)蜘蛛的好壞直接影響搜索結(jié)果頁中的死鏈接（即鏈接所指向的網(wǎng)頁已經(jīng)不存在）的個數(shù)。目前如何發(fā)現(xiàn)更多的網(wǎng)頁、如何正確提取網(wǎng)頁內(nèi)容、如何下載動態(tài)網(wǎng)頁、如何提供抓取速度、如何識別網(wǎng)站中內(nèi)容相同的網(wǎng)頁等都是網(wǎng)絡(luò)蜘蛛需要進(jìn)一步改進(jìn)的問題。