首頁 > 行業新聞

SEO優化中的爬行、抓取、索引、收錄,謝謝網絡大揭秘?

關鍵詞: SEO優化中的爬行、抓取、索引、收錄  謝謝網絡大揭秘?       發表時間:2020-07-09      瀏覽量:744
爬行是什么?

爬行指的是搜索引擎蜘蛛從已知頁面上解析出鏈接指向的URL,然后沿著鏈接發現新頁面(也就是鏈接指向的URL)的過程。當然,蜘蛛并不是發現新URL馬上就爬過去抓取新頁面,而是把發現的URL存放到待抓地址庫中,蜘蛛按照一定順序從地址庫中提取要抓取的URL。

抓取是什么?

抓取是搜索引擎蜘蛛從待抓地址庫中提取要抓的URL,訪問這個URL,把讀取的HTML代碼存入數據庫。蜘蛛的抓取就是像瀏覽器一樣打開這個頁面,和用戶瀏覽器訪問一樣,也會在服務器原始日志中留下記錄。

索引是什么?

索引指的是將一個URL的信息進行整理,存入數據庫,也就是索引庫,用戶搜索時,搜索引擎從索引庫中提取URL信息并排序展現出來。索引的英文是index。索引庫是用于搜索的,所以被索引的URL是可以被用戶搜索到的,沒有被索引的URL用戶在搜索結果中是看不到的。

要注意的是,所謂“一個URL的信息“,并不限于蜘蛛從URL上抓取來的內容,還有來自其它來源的信息,如外部鏈接、鏈接的錨文字等。有的時候,索引庫中關于這個URL的的信息,根本沒有從這個URL抓取來的內容,但搜索引擎知道這個URL的存在,并且有一些其它信息。

抓取和索引不是一回事。

收錄是什么?

我個人覺得收錄和索引沒有區別。只不過收錄是從搜索用戶角度看的,搜索時能找到這個URL,就是這個URL被收錄了。從搜索引擎角度看,URL被收錄了,也就是這個URL的信息在索引庫中存在。英文并沒有收錄這個詞,和索引用的是同一個詞index。

noindex的作用是什么?

頁面頭信息中放上meta noindex標簽是告訴搜索引擎不要索引這個URL,也就是用戶搜索時找不到這個URL的信息,這個URL不會返回在搜索結果列表中。

noindex不是告訴搜索引擎不要抓取這個URL,實際上,noindex要起作用,這個URL是必須先被抓取的,不然搜索引擎怎么看到頁面HTML代碼中有noindex標簽呢?

robots文件的作用是什么?

robots文件是告訴搜索引擎,某些URL不要抓取。注意,這里說的是不要抓取,沒說不要索引。和noindex是正相反的。

nofollow的作用是什么?

給鏈接加上nofollow屬性是告訴搜索引擎,不要沿著這個鏈接爬行,就當這個鏈接不存在。注意,nofollow只是告訴蜘蛛不要爬這個鏈接,沒有說不要抓取鏈接指向的URL,也沒有說不要索引鏈接指向的URL,nofollow既沒禁止抓取,也沒禁止索引。

概念說過后,指出幾個SEO們經常弄不明白的情況:

沒有被抓取的頁面是可以被索引的,蜘蛛沒有訪問和抓取這個頁面(比如被robots文件禁止抓取),這個頁面卻有信息存在索引庫中,用戶搜索時還能看到。
分享

我們的優勢

細致入微的前期服務
精準的策劃服務
完整的網頁設計
穩定安全極速的域名和服務器
任何問題,及時回復并處理

聯系我們

電話圖標
郵箱:[email protected]
地址:蘇州市嘉元路1060號中翔金融大廈11010室
     
蘇州謝謝網絡傳媒二維碼
返回頂部
黑龙江快乐十分开奖结