新聞中心
隨著微信的盛行,越來越多的人開始使用微信聊天、分享圖片、視頻、文章,以及進行交流等活動。在這樣一個龐大的社交平臺上,意味著大量信息的傳遞、存儲以及管理。那么對于那些需要從微信中獲取數(shù)據(jù),進一步分析和利用信息的人來說,如何才能準(zhǔn)確、有效地從微信數(shù)據(jù)庫中提取所需數(shù)據(jù)呢?答案就是Python技術(shù)。

讓客戶滿意是我們工作的目標(biāo),不斷超越客戶的期望值來自于我們對這個行業(yè)的熱愛。我們立志把好的技術(shù)通過有效、簡單的方式提供給客戶,將通過不懈努力成為客戶在信息化領(lǐng)域值得信任、有價值的長期合作伙伴,公司提供的服務(wù)項目有:主機域名、虛擬空間、營銷軟件、網(wǎng)站建設(shè)、南湖網(wǎng)站維護、網(wǎng)站推廣。
Python技術(shù)的廣泛應(yīng)用
Python是一種被用來處理和分析大量數(shù)據(jù)的編程語言。它是一種非常流行的語言,應(yīng)用廣泛,在數(shù)據(jù)處理、機器學(xué)習(xí)、科學(xué)計算和網(wǎng)站開發(fā)等領(lǐng)域都有廣泛應(yīng)用。
對于從微信中提取所需數(shù)據(jù)的需求,Python語言也可以提供一個強大的解決方案。Python語言的高級特性使得它成為了大量任務(wù)中的更佳選擇,從數(shù)據(jù)采集到數(shù)據(jù)處理,再到數(shù)據(jù)可視化,Python都有著強大的工具支持。
使用Python技術(shù)獲取微信數(shù)據(jù)庫信息的方法
Python技術(shù)主要通過微信開發(fā)者平臺提供的開放API(應(yīng)用程序接口)來實現(xiàn)從微信提取所需數(shù)據(jù)的功能。
要使用Python獲取微信數(shù)據(jù)庫信息,需要按照以下步驟進行:
之一步:在微信開發(fā)者平臺上注冊并獲取自己的開發(fā)者ID和秘鑰。
第二步:使用Python的requests庫和微信API進行交互,獲取access_token,這個是從微信服務(wù)器獲取數(shù)據(jù)的憑證。
第三步:使用Python的requests庫和微信API獲取用戶的授權(quán)列表。
第四步:使用Python的requests庫和微信API根據(jù)授權(quán)列表獲取對應(yīng)用戶的各種信息,包括個人信息、朋友圈、聊天記錄等。
第五步:使用Python的數(shù)據(jù)分析庫對獲取到的數(shù)據(jù)進行處理。
優(yōu)勢分析
Python技術(shù)的優(yōu)勢主要在于以下方面:
1、廣泛應(yīng)用
Python技術(shù)被廣泛應(yīng)用在各個領(lǐng)域,不僅接口豐富且使用簡單。
2、高效性
Python語言比其他語言更加易學(xué)易用,也更加高效。
3、數(shù)據(jù)處理
Python技術(shù)具備非常強大的數(shù)據(jù)處理能力,可以方便地完成數(shù)據(jù)采集、清洗、轉(zhuǎn)換、分析等各種操作。
4、可視化
Python技術(shù)可以非常方便地實現(xiàn)數(shù)據(jù)可視化,使得數(shù)據(jù)更加直觀、易懂。
結(jié)論
對于那些需要獲取微信相關(guān)數(shù)據(jù)的人來說,Python技術(shù)的應(yīng)用是非常必要的,它可以方便地從微信數(shù)據(jù)庫中提取所需的數(shù)據(jù)并進行分析處理。使用Python技術(shù)可以提高效率、提升工作效果,是數(shù)據(jù)分析人員和程序員的利器。無論是用于聊天記錄、好友列表、朋友圈動態(tài)數(shù)據(jù)的獲取,還是分析報表、用戶畫像的制作,Python技術(shù)都可以提供強大的支持,助力其實現(xiàn)更好的數(shù)據(jù)分析和應(yīng)用。
成都網(wǎng)站建設(shè)公司-創(chuàng)新互聯(lián),建站經(jīng)驗豐富以策略為先導(dǎo)10多年以來專注數(shù)字化網(wǎng)站建設(shè),提供企業(yè)網(wǎng)站建設(shè),高端網(wǎng)站設(shè)計,響應(yīng)式網(wǎng)站制作,設(shè)計師量身打造品牌風(fēng)格,熱線:028-869222204種Python爬蟲(3. 微信小程序,如,超級猩猩)
目錄:
1. PC網(wǎng)頁爬蟲
2. H5網(wǎng)頁爬蟲
3. 微信小程序爬蟲
4. 手機APP爬蟲
爬取超級猩猩的課表,該平臺僅提供了微信小程序這一個途徑,前面兩種針對html網(wǎng)槐舉頁的爬取方式都不再適用。
采用抓包分析是我們制定方案的之一步。
我用的Mac電腦,fiddler只有一個簡化版,所以另找了Charles這個類似的軟件。啟動Charles的代理,在手機WIFI中設(shè)置好對應(yīng)的代理就可以開抓了。但是,抓到的https包的內(nèi)容都是亂碼,咋辦?
Charles中提供了ssl證書,在手機端安裝證書即可。推薦使用iPhone,直接安裝描述文件即可。Android手機必須使用吵配系統(tǒng)版本在7.0以下的才行,7.0以上還需要反編譯什么的,太麻煩了。
很容易的定位到了超級猩猩微信小程序載入課表的后臺接口。拿這個URL在瀏覽器里訪問試試,直接返回了json結(jié)果!超級猩猩很友好!
提取對應(yīng)的鉛碰碧URL,放到瀏覽器中驗證,也可以支持返回json包,剩下就是分析一下這個json的數(shù)據(jù)結(jié)構(gòu),按照需要的方式導(dǎo)出了。
直接通過接口的爬取效率非常高,幾秒鐘就拉取了全國各個門店的排課,相當(dāng)舒心。(下圖的錄屏沒有進行加速)
最后一個挑戰(zhàn)就是對只有Android/iOS的APP端應(yīng)用數(shù)據(jù)的爬取。請看下一章
請點擊:
python能看微信記錄嗎
python是一種編程語言,它看記錄怎么看。應(yīng)該彎兄是說能橡毀不能用它寫個程序,梁鬧備用來看記錄。這個在理論上是可以的!
導(dǎo)出微信聊天db文件
手機端導(dǎo)出
發(fā)現(xiàn)現(xiàn)在的Android手機都很難root,而db文件肯定在微信的應(yīng)用目錄下。拿不出來的。
電腦端導(dǎo)出(mac)
從~/Library/Containers/com.tencent.xinWeChat/Data/Library/Application\ Support/com.tencent.xinWeChat下找到對應(yīng)賬號的數(shù)據(jù)存儲目錄。
屏幕快照下午5.46.38.png
Message
存儲聊天消息
Contact
存儲聯(lián)系人信息
獲取db密鑰
打開微信
命令行運行 lldb -p $(pgrep WeChat)
在 lldb 中輸入 br set -n sqlite3_key, 回車
還是在 lldb 中,輸入 c, 回車
掃碼登錄微信
這時候回到 lldb 界面, 輸入 memory read –size 1 –format x –count 32 $rsi, 回車
命令行回顯結(jié)果
0x: 0xab 0xcd 0xef 0xab 0xcd 0xef 0xab 0xcd
0x: 0xab 0xcd 0xef 0xab 0xcd 0xef 0xab 0xcd
0x: 0xab 0xcd 0xef 0xab 0xcd 0xef 0xab 0xcd
0x: 0xab 0xcd 0xef 0xab 0xcd 0xef 0xab 0xcd
忽略左邊的地址( 0x: ,0x:),從左到右,從上到下,把形如 0xab 0xcd 的數(shù)據(jù)拼起來,然后去掉所有的 “0x”和空格、換行, 得到 64 個字符的字符串,這就是 微信數(shù)據(jù)庫的 key
可以遇到的問題(來自網(wǎng)上,我在使用過程中沒有這個問題))
*.db 文件要在另一臺 PC 或 Mac 上 登錄微信, 才能被關(guān)閉,否則里面橋氏檔的聊天記錄不是最新的;當(dāng)然也可以強制調(diào)用 wal_checkpoint, 不過作為土辦法,在另一臺電腦上登一下微信也無妨。
那么wal_checkpoint是什么?是一個sqlite命令,可以參考:
db browser for sqlite
db數(shù)據(jù)庫可視化工具,打開需要查看的數(shù)據(jù)庫文件:
屏幕快照下午6.43.43.png
先輸入0x,然后把上面得到的密鑰復(fù)制進來。由于編碼的問題,可能復(fù)制進來會出核爛現(xiàn)打不開的情況,你可以先把密鑰復(fù)制到軟件執(zhí)行sql語句的地方,然后在復(fù)制。一會python讀取db數(shù)據(jù)庫會參考上面的設(shè)置參數(shù)。
python解密db數(shù)據(jù)庫
這里需要使用sqlite來操作數(shù)據(jù)庫,而sqlite本身是不支持加密和解密的,那么這部分就需要我們自己來完成,但是網(wǎng)上已經(jīng)有開源庫了。
使用到的python庫
加密解密db庫——pysqlcipher3。
加密算法庫——sqlcipher。
微信db加密庫——wcdb
參考文檔
db解密
路徑配置
# 加密DB文件絕對路徑,微信DB加密方案參考:
DB_PATH = ‘/Users/pengdaosong/pds/python/PythonStudy/db/encryption/’
# 解密后生成不加密DB文件絕對路徑
DB_OUT_PATH = ‘/Users/pengdaosong/pds/python/PythonStudy/db/decrypt/’
DB_OUT_ON_PATH = ‘/Users/pengdaosong/pds/python/PythonStudy/db/json/’
DB_ROOT_PATH = ‘/Users/pengdaosong/pds/python/PythonStudy/db/’敏亂
# 解密數(shù)據(jù)庫key
DB_KEY = “x”1133d3dd61764a9e80699b42b61e443515aeb00cf4f5497d9729adcb6c8e78e2””
# 新的DB加密數(shù)據(jù)KEY,如果為空,者不加密
DB_NEW_KEY = ”
這里說一下DB_KEY的寫法,官網(wǎng)寫法是這樣的:”x’2DD29CA851E7B56E4697B0E1FD761A05CE4D1B628663F411A8086D99′”;但是這樣寫始終是不能打開數(shù)據(jù)庫的,始終報“不是一個數(shù)據(jù)庫文件”。換成上面的寫法后可以打開。所以,這里如果不能打開,把這兩種寫都試一試。像在密鑰前加’0x’等都可以試一試。
解密
import pysqlcipher3.dbapi2 as sqliteimport config as cfdef decrypt(path, fileName):
# ———————————————————————————————————數(shù)據(jù)庫操作———————————————————————————————————
# 參考:
# 連接數(shù)據(jù)庫如果文件不存在,會自動在當(dāng)前目錄創(chuàng)建:
db = sqlite.connect(path + fileName)
# 創(chuàng)建一個Cursor:
db_cursor = db.cursor()
# ————————————————————————————————————解密數(shù)據(jù)DB———————————————————————————————————
# sqlcipher加密解密參考:
# sqlcipher開源庫qlcipher/issues
# sqlcipherApi:
db_cursor.execute(“PRAGMA key='” + cf.DB_KEY + “‘;”)
db_cursor.execute(“PRAGMA cipher_compatibility=3;”)
db_cursor.execute(“PRAGMA cipher_page_size=1024;”)
db_cursor.execute(“PRAGMA kdf_iter=64000;”)
db_cursor.execute(“PRAGMA cipher_hmac_algorithm=HMAC_SHA1;”)
db_cursor.execute(“PRAGMA cipher_kdf_algorithm=PBKDF2_HMAC_SHA1;”)
# 將解密文件導(dǎo)入新的DB文件
decrypt = cf.DB_OUT_PATH + ‘decrypt_’ + fileName
db_cursor.execute(“ATTACH DATABASE ‘” + decrypt + “‘ AS db_de KEY ‘” + cf.DB_NEW_KEY + “‘; — empty key will disable encryption”)
db_cursor.execute(“SELECT sqlcipher_export(‘db_de’);”)
db_cursor.execute(“DETACH DATABASE db_de;”)
db_cursor.close()
更多加密參數(shù)設(shè)置參考:sqlcipher使用文檔
將數(shù)據(jù)庫導(dǎo)出為json
import pysqlcipher3.dbapi2 as sqliteimport config as cf_wximport dbToJsondef parse(path, fileName):
db = sqlite.connect(path + fileName)
db_cursor = db.cursor()
all_table = db_cursor.execute(“SELECT name FROM sqlite_master WHERE type = ‘table’;”).fetchall()
print(all_table)
for x in all_table:
table_name = x
print(“Searching”, table_name)
try:
t = db_cursor.execute(‘SELECT * FROM ‘ + table_name + ‘;’)
dbToJson.tableToFile(db_cursor,table_name)
print(‘\n’)
except BaseException as e:
print(e)
continue
db_cursor.close()
db.close()
import jsonimport numpy as npimport config as cf_wxclass MyEncoder(json.ONEncoder):
def default(self, obj):
if isinstance(obj, np.ndarray):
return obj.tolist()
elif isinstance(obj, bytes):
# utf-8會報錯:’utf-8′ codec can’t decode byte 0xfc in position 14: invalid start byte
return str(obj, encoding=’ISO’)
return json.ONEncoder.default(self, obj)def tableToJson(cursor, table):
query = ‘SELECT * FROM ‘ + table
rows = cursor.execute(query)
items =
for row in rows:
item = {}
for key in cursor.description:
item.update({key: value for value in row})
items.append(item)
# 注意不要寫道for里面了,不然數(shù)據(jù)結(jié)果不對
js = json.dumps(items, ensure_ascii=False, cls=MyEncoder, indent=4)
print(js)
print(‘—-‘)def tableToFile(cursor, table):
query = ‘SELECT * FROM ‘ + table
rows = cursor.execute(query)
items =
for row in rows:
item = {}
# 參考:
for idx, col in enumerate(cursor.description):
value = row
item.update({col: value})
items.append(item)
# 注意不要寫道for里面了,不然數(shù)據(jù)結(jié)果不對
json_name = “”
if(table.endswith(‘.db’)):
json_name = table
else:
json_name = table file = open(cf_wx.DB_OUT_ON_PATH + json_name + “.json”, ‘w+’)
# ensure_ascii默認(rèn)為True,漢字會被編碼成’\u4e00\u6839\u806a’
js = json.dumps(items, ensure_ascii=False, cls=MyEncoder, indent=4)
file.write(js)
file.close()
關(guān)聯(lián)
查看聊天消息數(shù)據(jù)發(fā)現(xiàn),不能把聊天消息數(shù)據(jù)表和對應(yīng)的聊天人對應(yīng)起來,因為消息表并沒有存是和誰在聊天。如果不能和對應(yīng)的人聯(lián)系起來,豈不是感覺很不好。那這里就要用到聯(lián)系人數(shù)據(jù)庫了,密鑰和上面的一樣。打開聯(lián)系人的數(shù)據(jù)查看:
屏幕快照下午7.30.41.png
python爬取微信好友運動步數(shù)
emm
微信分享的url本身就有openid,偽造Request Headers然后拿到返回的信息就行了
沒玩過,思路是監(jiān)聽微信的通訊,抓包調(diào)試。
不懂你要這些有什么用處。
關(guān)于python爬取微信數(shù)據(jù)庫的介紹到此就結(jié)束了,不知道你從中找到你需要的信息了嗎 ?如果你還想了解更多這方面的信息,記得收藏關(guān)注本站。
成都網(wǎng)站建設(shè)選創(chuàng)新互聯(lián)(?:028-86922220),專業(yè)從事成都網(wǎng)站制作設(shè)計,高端小程序APP定制開發(fā),成都網(wǎng)絡(luò)營銷推廣等一站式服務(wù)。
文章標(biāo)題:Python技術(shù)實現(xiàn)微信數(shù)據(jù)庫的信息獲取(python爬取微信數(shù)據(jù)庫)
網(wǎng)站鏈接:http://m.fisionsoft.com.cn/article/cocdeii.html


咨詢
建站咨詢
