建站
咨詢
售后
建站咨詢
新聞中心
為了探究妹紙們的偏好，我爬了網(wǎng)易嚴(yán)選妹子內(nèi)衣信息總共是七千多條數(shù)據(jù)，下面一起來(lái)看看網(wǎng)易嚴(yán)選商品評(píng)論的獲取和分析。
片來(lái)自 Pexels
聲明：這是一篇超級(jí)嚴(yán)肅的技術(shù)文，超!級(jí)!嚴(yán)!肅!請(qǐng)本著學(xué)習(xí)交流的態(tài)度閱讀，謝謝!
分析網(wǎng)頁(yè)
①評(píng)論分析
進(jìn)入到網(wǎng)易嚴(yán)選官網(wǎng)，搜索“文胸”后，先隨便點(diǎn)進(jìn)一個(gè)商品。
在商品頁(yè)面，打開(kāi) Chrome 的控制臺(tái)，切換至 Network 頁(yè)，再把商品頁(yè)面切換到評(píng)價(jià)標(biāo)簽下，選擇一個(gè)評(píng)論文字，如“薄款、穿著舒適、滿意”，在 Network 中搜索。
可以發(fā)現(xiàn)，評(píng)論文字是通過(guò) listByItemByTag.json 傳遞過(guò)來(lái)的，點(diǎn)擊進(jìn)入該請(qǐng)求，并拷貝出該請(qǐng)求的 URL：
- https://you.163.com/xhr/comment/listByItemByTag.json?csrf_token=060f4782bf9fda38128cfaeafb661f8c&__timestamp=1571106038283&itemId=1616018&tag=%E5%85%A8%E9%83%A8&size=20&page=1&orderBy=0&oldItemTag=%E5%85%A8%E9%83%A8&oldItemOrderBy=0&tagChanged=0
將該 URL 放入 Postman 中，逐個(gè)嘗試 url query params，最后能夠發(fā)現(xiàn)，只需保留 itemId 和 page 兩個(gè)請(qǐng)求參數(shù)即可。
請(qǐng)求返回的是一個(gè) JSON 格式的數(shù)據(jù)，下面就是分析該 JSON 數(shù)據(jù)了。
不難發(fā)現(xiàn)，所有的評(píng)論數(shù)據(jù)都存儲(chǔ)在 commentList 中，我們只需保存該數(shù)據(jù)即可。
下面就是如何獲取 itemId 的信息了，這個(gè)是產(chǎn)品的 ID，我們回到網(wǎng)易嚴(yán)選首頁(yè)，繼續(xù)分析。
②產(chǎn)品 ID 獲取
當(dāng)我們?cè)谒阉骺蛑休斎腙P(guān)鍵字進(jìn)行搜索的時(shí)候，同樣能夠發(fā)現(xiàn)在 Network 中有很多請(qǐng)求。
此時(shí)可以觀察各個(gè)請(qǐng)求，通過(guò)請(qǐng)求文件的名稱(此處需要一些經(jīng)驗(yàn)，守規(guī)矩的程序員都不會(huì)亂起名字)，我們可以定位到搜索時(shí)展示搜索結(jié)果的請(qǐng)求。
搜索一般都是 search，所以我們就鎖定了這個(gè) search.json 的請(qǐng)求。同樣把請(qǐng)求 URL 拷貝到 Postman 中，逐個(gè)驗(yàn)證傳參，最后保留 page 和 keyword 兩個(gè)參數(shù)即可。
該請(qǐng)求返回的數(shù)據(jù)較多，還是需要耐心的分析數(shù)據(jù)，也能夠發(fā)現(xiàn)，在 result->data->directly->searcherResult->result 下面的 id 值，即為我們要獲取的產(chǎn)品 ID。
以上，我們基本完成了前期的分析工作，下面開(kāi)始代碼的編寫。
編寫代碼
①獲取產(chǎn)品 ID
代碼如下：
- def search_keyword(keyword):
- uri = 'https://you.163.com/xhr/search/search.json'
- query = {
- "keyword": keyword,
- "page": 1
- }
- try:
- res = requests.get(uri, params=query).json()
- result = res['data']['directly']['searcherResult']['result']
- product_id = []
- for r in result:
- product_id.append(r['id'])
- return product_id
- except:
- raise
我這里是獲取了 page 為 1 的產(chǎn)品 ID，下面就是通過(guò)產(chǎn)品 ID 來(lái)獲取不同產(chǎn)品下的評(píng)論信息。
②獲取數(shù)據(jù)存儲(chǔ)
通過(guò)前面的分析，我們可以知道，評(píng)論信息都是如下形式的，對(duì)這種形式的信息，我們可以很方便地存儲(chǔ)進(jìn)入 MongoDB，然后再慢慢分析數(shù)據(jù)里的內(nèi)容。
- {
- "skuInfo": [
- "顏色:膚色",
- "杯碼:75B"
- ],
- "frontUserName": "1****8",
- "frontUserAvatar": "https://yanxuan.nosdn.127.net/f8f20a77db47b8c66c531c14c8b38ee7.jpg",
- "content": "質(zhì)量好，穿著舒服",
- "createTime": 1555546727635,
- "picList": [
- "https://yanxuan.nosdn.127.net/742f28186d805571e4b3f28faa412941.jpg"
- ],
- "commentReplyVO": null,
- "memberLevel": 4,
- "appendCommentVO": null,
- "star": 5,
- "itemId": 1680205
- }
對(duì)于 MongoDB，我們既可以自己搭建，也可以使用網(wǎng)上免費(fèi)的服務(wù)。在這里我介紹一個(gè)免費(fèi)的 MongoDB 服務(wù)網(wǎng)站：mlab，使用很簡(jiǎn)單，就不過(guò)多介紹使用過(guò)程了。
數(shù)據(jù)庫(kù)有了，下面就是把數(shù)據(jù)保存進(jìn)去了：
- def details(product_id):
- url = 'https://you.163.com/xhr/comment/listByItemByTag.json'
- try:
- C_list = []
- for i in range(1, 100):
- query = {
- "itemId": product_id,
- "page": i,
- }
- res = requests.get(url, params=query).json()
- if not res['data']['commentList']:
- break
- print("爬取第 %s 頁(yè)評(píng)論" % i)
- commentList = res['data']['commentList']
- C_list.append(commentList)
- time.sleep(1)
- # save to mongoDB
- try:
- mongo_collection.insert_many(commentList)
- except:
- continue
- return C_list
- except:
- raise
最后爬取完成之后，總共是七千多條數(shù)據(jù)，下面就可以根據(jù)個(gè)人需要做一些分析了。
爬取的數(shù)據(jù) MongoDB 鏈接：
- conn = MongoClient("mongodb://%s:%[email protected]:49974/you163" % ('you163', 'you163')) db = conn.you163 mongo_collection = db.you163
商品評(píng)論數(shù)據(jù)分析
下面就到了激動(dòng)人心的時(shí)刻了，一探妹子偏好!
偏好顏色
先來(lái)看看妹子們偏好的顏色：
可以看出，黑色是遙遙領(lǐng)先的哦，這里你要做到心中有數(shù)!
再通過(guò)餅狀圖來(lái)觀察下不同顏色的占比情況：
那么這些顏色中，有你的她喜歡的嗎?
尺寸分布
再來(lái)看看妹子們的尺寸分布：
沒(méi)有問(wèn)題，75B 就是大多數(shù)妹子的尺寸了!
如果你對(duì)這種罩杯尺寸沒(méi)有研究的話，不要緊，貼心的我給你準(zhǔn)備了對(duì)照表，拿走不謝!
商品評(píng)論
最后我們?cè)賮?lái)看看妹子們對(duì)于商品的評(píng)價(jià)情況：
就星級(jí)評(píng)價(jià)上來(lái)看，大多數(shù)都是五星好評(píng)，畢竟打著“嚴(yán)選”的名號(hào)，質(zhì)量是必須有保證的。
再來(lái)看看在評(píng)論區(qū)，妹子最喜歡用什么詞語(yǔ)來(lái)描述呢：
舒服、很舒服，非常舒服;滿意、很滿意，非常滿意。
仿佛進(jìn)入了“夸夸群”，看來(lái)妹子們首要看重的就是舒服與否，畢竟是貼身的，質(zhì)量最重要!
好了，看了上面的分析，單身的你是不是更加有了脫單的沖動(dòng)?如果是已經(jīng)有軟妹傍身的你，是不是該下手討好下身邊的她了呢?
完整代碼如下：
- https://github.com/zhouwei713/data_analysis/tree/master/you163_spider
名稱欄目：爬了7000+條內(nèi)衣信息，只為探究妹紙們的偏好！
轉(zhuǎn)載來(lái)于：http://m.fisionsoft.com.cn/article/djeeceo.html
