要用python从几百万行数据的文件一行行读数据并计算，如何处理最快,哪位大牛可以指点一下

如题，想找一种较快的算法

2024-12-02 19:06:13

推荐回答（3个）

回答1：

如果你的数据互相有关系的话，你就只能用readline一行完了之后再处理一行；
如果你的数据是每行不相干的，那你应该可以把文件分成几段，每段分配一个thread处理；
如果你的数据时每行不相干，而且你对数据的操作不很复杂的话，应该可以考虑用gpu来代替cpu并行处理。

回答2：

应该用readline（），而不是readlines（）
f0=file('test.txt','r')
while True:
a=f0.readline()
print a
if a=='':break

python 速度确实不慢，有人测试过readline和sed有一拼

回答3：

a=open(filename).readlines()
for line in a:
.....