当前一个大文件大小,比当前的机器的内存大,先读取某个文件里的一部分。
文件遍历
因为文件保存了很多字符和行,因此也是循环常见的典型使用案例,最原始的方法可以调用文件对象的read方法,把文件内容一次性加载至字符串对象
file = open('myfile.txt', 'r')
print(file.read())
hello text file
goodbyt text file
Hahahahah
或者for读取这样的文件:
for方法一、
with open(file) as f:
list_of_lines = f.readlines()
或者
for line in open('myfile.txt','r').readlines():
print(line, end='')
for方法二、
f = open(file)
for line in file:
#do something
第一种方法通过readlines方法,会首先一次性把文件载入到行字符串列表中,然后再对这个字符串列表进行迭代;
第二种方法运行的原理则有所不同,他并非一次性将全部的文件内容载入到内存中,而是在迭代的时候,循环到了哪一行才将哪一行读入到内存。这里涉及到一个新的概念—-迭代器(open函数返回的那个就是文件迭代器)。
上面的方式都不适合或者不是最优解。
解决方案
您想要的是逐行读取文件,而忽略除某些行(例如,行[17,34))以外的所有行。
enumerate
遍历文件时,尝试使用跟踪行号。这是一种基于生成器的方法,该方法yield一次只输出一条有趣的行:
def read_only_lines(f, start, finish):
for ii,line in enumerate(f):
if ii>=start and ii<finish:
yield line
elif ii>=finish:
return
f = open("big text file.txt", "r")
for line in read_only_lines(f, 17, 34):
print line
此read_only_lines
函数基本上是itertools.islice
从标准库重新实现的,因此您可以使用它来实现更紧凑的实现:
from itertools import islice
for line in islice(f, 17, 34):
print line
如果要在列表中而不是在生成器中捕获感兴趣的行,只需将它们转换为列表即可:
from itertools import islice
lines_of_interest = list( islice(f, 17, 34) )
do_something_awesome( lines_of_interest )
do_something_else( lines_of_interest )