建站
咨詢
售后
建站咨詢
新聞中心
在爬蟲開發(fā)的過程中，我們經(jīng)常遇到一些 Ajax 加載的接口會返回 JSON 數(shù)據(jù)。如下圖所示，是 Twitter 的用戶時間線接口，返回了一段3000多行的深層嵌套 JSON：
為焉耆等地區(qū)用戶提供了全套網(wǎng)頁設(shè)計(jì)制作服務(wù)，及焉耆網(wǎng)站建設(shè)行業(yè)解決方案。主營業(yè)務(wù)為做網(wǎng)站、成都網(wǎng)站制作、焉耆網(wǎng)站設(shè)計(jì)，以傳統(tǒng)方式定制建設(shè)網(wǎng)站，并提供域名空間備案等一條龍服務(wù)，秉承以專業(yè)、用心的態(tài)度為用戶提供真誠的服務(wù)。我們深信只要達(dá)到每一位用戶的要求，就會得到認(rèn)可，從而選擇與我們長期合作。這樣，我們也可以走得更遠(yuǎn)！
其中的cursor這個字段，是請求下一頁的必要字段，我必須把它的 value 值讀取出來，拼接到請求 URL 中，才能請求下一頁的內(nèi)容。
現(xiàn)在問題來了，cursor字段在這個 JSON 里面的哪個位置?從最外層開始，我應(yīng)該怎么樣才能讀取到最里面的這個cursor中的value字段的值?
我知道已經(jīng)有一些第三方庫可以直接根據(jù)字段名讀取 JSON 內(nèi)部任意深度的值，不過用別人的東西總沒有自己寫一個輪子來得過癮。所以今天我們自己來手寫一個模塊，我把他叫做JsonPathFinder，傳入一個 JSON 字符串和需要讀取的字段名，返回從最外層開始直到這個字段的路徑。
效果演示
我們用 Python 之父龜叔的 Twitter 時間線來作為演示，運(yùn)行以后，效果如下圖所示：
可以看到，從最外層開始一路讀到cursor字段，需要經(jīng)過非常多的字段名，對應(yīng)到 JSON 中，如下圖所示：
由于entries 字段列表中一共有20個元素，所以這里的18、19實(shí)際上對應(yīng)了倒數(shù)第二條和倒數(shù)第一條數(shù)據(jù)。其中，倒數(shù)第二條的 cursor 對應(yīng)的是本頁第一條推文，而倒數(shù)第一條對應(yīng)的是本頁最后一條推文。所以當(dāng)我們要往后翻頁的時候，應(yīng)該用的是倒數(shù)第一條的 cursor。
我們試著來讀取一下結(jié)果：
非常輕松地獲取到了數(shù)據(jù)。不需要再肉眼在 JSON 中尋找字段了。
原理分析
JsonPathFinder 的原理并不復(fù)雜，全部代碼加上空行，一共只有32行，如下圖所示：
因?yàn)橐粋€字段在 JSON 中可能出現(xiàn)很多次，所以find_one方法返回從外層到目標(biāo)字段的第一條路徑。而find_all方法返回從外層到目標(biāo)字段的所有路徑。
而核心算法，就是iter_node方法。在把 JSON 字符串轉(zhuǎn)成 Python 的字典或者列表以后，這個方法使用深度優(yōu)先遍歷整個數(shù)據(jù)，記錄它走過的每一個字段，如果遇到列表就把列表的索引作為 Key。直到遍歷到目標(biāo)字段，或者某個字段的值不是列表也不是字典時結(jié)束本條路徑，繼續(xù)遍歷下個節(jié)點(diǎn)。
代碼第10-15行，分別對列表和字典進(jìn)行處理。對于字典來說，我們分離 key 和 value，寫作：
- for key, value in xxx.items():
- ...
對于列表，我們分離索引和元素，寫作：
- for index, element in enumerate(xxx):
- ...
所以如在第11和第13行，使用生成器推導(dǎo)式分別處理字典和列表，這樣得到的key_value_iter生成器對象，就可以在第16行被相同的 for 循環(huán)迭代。
我們知道，在 Python 里面可以迭代的對象除了字典和列表以外，還有很多其他的對象，不過我這里只處理了字典和列表。大家也可以試一試修改10-15行的條件判斷，增加對其他可迭代對象的處理邏輯。
代碼第16-22行，對處理以后的 key-value 進(jìn)行迭代。首先記錄到當(dāng)前字段為止的迭代路徑到current_path列表中。然后判斷當(dāng)前字段是不是目標(biāo)字段。如果是，那么把當(dāng)前的路徑通過 yield 拋出來。如果當(dāng)前路徑的值是列表或者字典，那么把這個值遞歸傳入 iter_node 方法，進(jìn)一步檢查內(nèi)部還有沒有目標(biāo)字段。需要注意的是，無論當(dāng)前字段是不是目標(biāo)字段，只要它的值是列表或者字典，都需要繼續(xù)迭代。因?yàn)榧词巩?dāng)前字段的名字是目標(biāo)字段，但也許它內(nèi)部還有某個子孫字段的字段名也是目標(biāo)字段名。
對于普通函數(shù)來說，要遞歸調(diào)用，直接return 當(dāng)前函數(shù)(參數(shù))就可以了。但是對于生成器來說，要遞歸調(diào)用，就需要使用yield from 當(dāng)前函數(shù)名(參數(shù))。
由于iter_node方法返回的是一個生成器對象，在 find_one和find_all方法中，for 循環(huán)每一次迭代，都能拿到一條從20行拋出來的到目標(biāo)字段的路徑。而在find_one方法中，當(dāng)我們拿到第一條路徑時，不再繼續(xù)迭代，那么就可以節(jié)省大量的時間，減少迭代次數(shù)。
正確使用
有了這個工具以后，我們可以直接用它來解析數(shù)據(jù)，也可以用來輔助分析數(shù)據(jù)。例如，Twitter 時間線的正文是在full_text中，我可以直接用 JsonPathFinder 獲取所有的正文：
但有時候，我們除了獲取正文外，還需要每一條推文的其他信息，如下圖所示：
可以看到， 這種情況下，我們可以先獲取從外層到full_text的路徑列表，然后再人工對列表進(jìn)行一些加工，輔助開發(fā)：
從打印出來的路徑列表里面可以看到，我們只需要獲取globalObjects->tweets就可以了。它的值是20個字典，每個字典的 Key 是推文的 ID，Value 是推文的詳情。這個時候，我們再人工去修改一下代碼，也能方便地提取一條推文的全部字段。
分享文章：如何快速從深層嵌套JSON中找到特定的Key
URL地址：http://m.fisionsoft.com.cn/article/djpeooi.html
