您好,欢迎来到叨叨游戏网。
搜索
您的当前位置:首页Python生成器读取大文件

Python生成器读取大文件

来源:叨叨游戏网
# 500G一行的超大文本文件,有分隔符{|}
def myreadlines(f,newline):
    buf=""
    while True:
        while newline in buf:
            pos = buf.index(newline)
            yield buf[:pos]
            buf = buf[pos+len(newline):]
        chunk =f.read(4096*10)
        if not chunk:
            # 说明已经读到了文件结尾
            yield buf
            break
        buf += chunk

with open("input.txt") as f:
    for line in myreadlines(f, "{|}"):
        print(line)
复制代码

因篇幅问题不能全部显示,请点此查看更多更全内容

Copyright © 2019- gamedaodao.net 版权所有 湘ICP备2024080961号-6

违法及侵权请联系:TEL:199 18 7713 E-MAIL:2724546146@qq.com

本站由北京市万商天勤律师事务所王兴未律师提供法律服务