建站
咨詢(xún)
售后
建站咨詢(xún)
新聞中心
Python流式讀取大文件的兩種方法
在蔚縣等地區(qū)，都構(gòu)建了全面的區(qū)域性戰(zhàn)略布局，加強(qiáng)發(fā)展的系統(tǒng)性、市場(chǎng)前瞻性、產(chǎn)品創(chuàng)新能力，以專(zhuān)注、極致的服務(wù)理念，為客戶(hù)提供成都網(wǎng)站建設(shè)、網(wǎng)站建設(shè) 網(wǎng)站設(shè)計(jì)制作按需網(wǎng)站開(kāi)發(fā),公司網(wǎng)站建設(shè),企業(yè)網(wǎng)站建設(shè),品牌網(wǎng)站設(shè)計(jì),網(wǎng)絡(luò)營(yíng)銷(xiāo)推廣,外貿(mào)網(wǎng)站制作,蔚縣網(wǎng)站建設(shè)費(fèi)用合理。
1、使用 read 方法分塊讀取
使用更底層的file.read()方法，與直接循環(huán)迭代文件對(duì)象不同，每次調(diào)用file.read(chunk_size)會(huì)直接返回從當(dāng)前位置往后讀取 chunk_size 大小的文件內(nèi)容，不必等待任何換行符出現(xiàn)。
def count_nine_v2(fname):
"""計(jì)算文件里包含多少個(gè)數(shù)字 '9'，每次讀取 8kb
"""
count = 0
block_size = 1024 * 8
with open(fname) as fp:
while True:
chunk = fp.read(block_size)
# 當(dāng)文件沒(méi)有更多內(nèi)容時(shí)，read 調(diào)用將會(huì)返回空字符串 ''
if not chunk:
break
count += chunk.count('9')
return count2、利用生成器解耦代碼
可以定義一個(gè)新的chunked_file_reader生成器函數(shù)，由它來(lái)負(fù)責(zé)所有與“數(shù)據(jù)生成”相關(guān)的邏輯。
count_nine_v3里面的主循環(huán)就只需要負(fù)責(zé)計(jì)數(shù)即可。
def chunked_file_reader(fp, block_size=1024 * 8):
"""生成器函數(shù)：分塊讀取文件內(nèi)容
"""
while True:
chunk = fp.read(block_size)
# 當(dāng)文件沒(méi)有更多內(nèi)容時(shí)，read 調(diào)用將會(huì)返回空字符串 ''
if not chunk:
break
yield chunk
def count_nine_v3(fname):
count = 0
with open(fname) as fp:
for chunk in chunked_file_reader(fp):
count += chunk.count('9')
return count使用 iter(callable,sentinel) 的方式調(diào)用它時(shí)，會(huì)返回一個(gè)特殊的對(duì)象，迭代它將不斷產(chǎn)生可調(diào)用對(duì)象 callable 的調(diào)用結(jié)果，直到結(jié)果為 setinel 時(shí)，迭代終止。
def chunked_file_reader(file, block_size=1024 * 8): """生成器函數(shù)：分塊讀取文件內(nèi)容，使用 iter 函數(shù) """ # 首先使用 partial(fp.read, block_size) 構(gòu)造一個(gè)新的無(wú)需參數(shù)的函數(shù) # 循環(huán)將不斷返回 fp.read(block_size) 調(diào)用結(jié)果，直到其為 '' 時(shí)終止 for chunk in iter(partial(file.read, block_size), ''): yield chunk
以上就是Python流式讀取大文件的兩種方法，希望能對(duì)你有所幫助喲~
標(biāo)題名稱(chēng)：創(chuàng)新互聯(lián)Python教程：Python流式讀取大文件的兩種方法
轉(zhuǎn)載源于：http://m.fisionsoft.com.cn/article/ccisijj.html
