建站
咨詢
售后
建站咨詢
新聞中心
隨后Googlebot就能夠看到HTML source code并根此生成DOM tree;之后再使用JavaScript engine去render DOM tree并渲染整個(gè)web page;
一、百度搜索引擎是怎么抓取頁(yè)面的？
1. 百度搜索引擎采用了“蜘蛛”(Spider)的方法來實(shí)現(xiàn)對(duì)Web頁(yè)面的自動(dòng)化采集。
目前成都創(chuàng)新互聯(lián)已為上千多家的企業(yè)提供了網(wǎng)站建設(shè)、域名、網(wǎng)絡(luò)空間、網(wǎng)站托管維護(hù)、企業(yè)網(wǎng)站設(shè)計(jì)、囊謙網(wǎng)站維護(hù)等服務(wù)，公司將堅(jiān)持客戶導(dǎo)向、應(yīng)用為本的策略，正道將秉承"和諧、參與、激情"的文化，與客戶和合作伙伴齊心協(xié)力一起成長(zhǎng)，共同發(fā)展。
2. 這個(gè)過程就是所謂的“機(jī)器人”或者說“機(jī)器人行為”，即通過特定的代理服務(wù)器向目標(biāo)站發(fā)出HTTP請(qǐng)求，以便從中得到想要信息。
3. 當(dāng)然，在此之前必須先解決如何找到目標(biāo)站上存在的新聞、圖片、文件或其它信息。
4. 針對(duì)這一問題，網(wǎng)站會(huì)通過不同方式將URL告訴Googlebot, 比如XML Sitemap, Robots.txt, Link Element in HTML Headers 等。
5. Googlebot會(huì)根據(jù)Robots Exclusion Protocol (REP)去遵循并根據(jù)Sitemaps XML文件中聲明好的URLs去釋出Crawl Request來釋出Crawl Request來釋出Crawl Request來處理整個(gè)流程。
6. 具體而言，當(dāng)Googlebot發(fā)送HTTP request時(shí)，web server會(huì)將HTML response作為response body回復(fù)Googlebot;隨后Googlebot就能夠看到HTML source code并根此生成DOM tree;之后再使用JavaScript engine去render DOM tree并渲染整個(gè)web page;最后Googlebot就能看到final rendered web page了。
7. 有時(shí)候也會(huì)針對(duì)AJAX requests發(fā)送POST request去fetch dynamic content;考慮到大部分AJAX requests都是GET request, Google bot也會(huì)針對(duì)GET AJAX requests發(fā)送request去fetch dynamic content;
8 . 另外一方面，當(dāng)Google bot遵循link element in HTML headers時(shí)( ) ；google bot也能夠follow link elements and fetch the next pages of a paginated series of webpages or blog posts etc.;9 . 最后要注意的是: Google Bot不會(huì)馬上indexing fetched URLs , 還要考視crawled URL's relevance to user query before indexing it into its search results database ;
10 . 此外 , 由于 google bot 高度依賴 robots exclusion protocol ( REP ) , 所以 website owners 必須在 robots txt file 配置好 google bots 的 crawling rules ；
二、總體來說：
1 . 由于google bot 高度依賴robots exclusion protocol (REP), website owners必須在robots txt file中正確地聲明google bots crawling rules ; 2 . google bot使用spider technology 根???urls list from sitemaps xml files & link elements in html headers to crawl target websites ; 3 . google bots send http requests to target sites & receive html responses as response bodies ; 4 . after that , they generate dom trees by looking at html source codes & render them with javascript engines so as to get final rendered web pages ; 5 . sometimes they also send post/get ajax requests for dynamic contents if necessary ; 6 . finally , they will assess crawled url's relevance to user queries before indexing them into their search results databases
以上就是關(guān)于百度搜索引擎是怎么抓去頁(yè)面的?的相關(guān)知識(shí)，如果對(duì)你產(chǎn)生了幫助就關(guān)注網(wǎng)址吧。
本文標(biāo)題：百度搜索引擎是怎么抓去頁(yè)面的?
當(dāng)前URL：http://m.fisionsoft.com.cn/article/cdpipdj.html
