python分析鳶尾花數(shù)據(jù) 用python處理一個1G左右的數(shù)據(jù)集,運行速度非常慢,怎樣優(yōu)化?
用python處理一個1G左右的數(shù)據(jù)集,運行速度非常慢,怎樣優(yōu)化?對于一個老司機來說,回答這個問題是絕對必要的?;氐絾栴},如果您使用panda讀取CSV,您可以預先設置塊大小,然后使用readcsv分
用python處理一個1G左右的數(shù)據(jù)集,運行速度非常慢,怎樣優(yōu)化?
對于一個老司機來說,回答這個問題是絕對必要的。
回到問題,如果您使用panda讀取CSV,您可以預先設置塊大小,然后使用readcsv分塊讀取。在這種情況下,通常可以解決大多數(shù)情況下的內(nèi)存錯誤問題