建站
咨詢
售后
建站咨詢
新聞中心
在使用python爬取網(wǎng)頁時(shí)，經(jīng)常會(huì)遇到亂碼問題，一旦遇到亂碼問題，就很難得到有用的信息。本人遇到亂碼問題，一般有以下幾個(gè)方式：
創(chuàng)新互聯(lián)專注于企業(yè)成都全網(wǎng)營(yíng)銷、網(wǎng)站重做改版、五寨網(wǎng)站定制設(shè)計(jì)、自適應(yīng)品牌網(wǎng)站建設(shè)、H5場(chǎng)景定制、成都商城網(wǎng)站開發(fā)、集團(tuán)公司官網(wǎng)建設(shè)、成都外貿(mào)網(wǎng)站建設(shè)、高端網(wǎng)站制作、響應(yīng)式網(wǎng)頁設(shè)計(jì)等建站業(yè)務(wù)，價(jià)格優(yōu)惠性價(jià)比高，為五寨等各大城市提供網(wǎng)站開發(fā)制作服務(wù)。
1、查看網(wǎng)頁源碼中的head標(biāo)簽，找到編碼方式，例如：
在上圖中，可以看到charset='utf-8',說明這個(gè)網(wǎng)頁很大可能是采用‘UTF-8’編碼（是很大可能，但不是百分之百），因此可以試試這個(gè)編碼方式：
result = response.content.decode('utf-8')
這種方式得到的內(nèi)容基本上就不會(huì)亂碼了。
相關(guān)推薦：《Python教程》
2、如果上述的方式?jīng)]有任何作用，頁面依然亂碼；或者在head標(biāo)簽下并沒有找到charset屬性；或者我們要采集很多網(wǎng)頁的信息，而且這些網(wǎng)頁的編碼方式不盡相同，我們不可能做到一個(gè)一個(gè)網(wǎng)頁的去查看head標(biāo)簽，那么可以采用下面的方式解決亂碼。
（1）python的chardet庫
可以使用下面的方式解決亂碼問題
result = chardet.detect(response.content)
print(result)
data = response.content.decode(chardet.detect(response.content)['encoding'])
{'confidence': 0.99, 'language': '', 'encoding': 'utf-8'}
從輸出結(jié)果可以看出這是“猜測(cè)”編碼，猜測(cè)的方式是先收集各種編碼的特征字符，根據(jù)特征字符判斷，就能有很大概率“猜對(duì)”。
這種方法的效率很低，如果采集的網(wǎng)頁很大，可以只猜測(cè)其中一段的源碼，即
result = chardet.detect(response.content[:1000])
（2）response的編碼
也可以使用另一種方法，即response自有的encoding,apparent_encoding這兩個(gè)變量。
response.encoding一般是從response.headers中content-type字段中的charset的值，其它情況我也不是很了解。
response.apparent_encoding一般是采用上述的python的chardet庫這種方法。
因此可以用下面的方式解決亂碼問題
data = response.content.decode(response.apparent_encoding)
3、一般情況下，上述兩個(gè)方法可以解決亂碼問題。但是如果上述兩個(gè)方式不能解決，那有可能是網(wǎng)頁的壓縮導(dǎo)致的。這種問題用下面的方法解決。
檢查一下你寫的頭信息是不是包含了Accept-Encoding這個(gè)字段，如果有，請(qǐng)刪除這個(gè)字段，亂碼問題就會(huì)得到解決。
headers = {
'Accept-Encoding': 'gzip, deflate, sdch',
'Accept-Language': 'zh-CN,zh;q=0.8',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.221
Safari/537.36 SE 2.X MetaSr 1.0',
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
'Connection': 'keep-alive',
} 文章標(biāo)題：創(chuàng)新互聯(lián)Python教程：python獲取網(wǎng)頁亂碼怎么解決
本文鏈接：http://m.fisionsoft.com.cn/article/dhepigo.html
