|
新手请教高手们～
最近处理一个2G大小左右的txt文件系列（有2000多个txt文件，记录的都是气象数据），想要循环读入到一个表格里，再对数据进行统计分析。处理少量txt文件是没有问题，但是一旦到了大量文件时，读入数据很慢，最后系统还报错！内存不足了。网上找了半天攻略，有建议建立数据库处理，或者用ff包，但是还是没弄明白，看起来好难，在此请教高手们，有具体的解决办法么？最好能给出有参考价值的代码！太谢谢了！下面是我原先读入少量txt文件时写的代码： files_tg <- list.files(pattern=”.txt$”)
DailyTG.40J <- data.frame()
for(j in files_tg){
tg <-read.table(j, header=TRUE, skip=19, sep=”,”,dec=”,”);
tg.1<-tg[which(tg$DATE>=19740101&tg$DATE<=20131231),];
DailyTG.40J <- rbind(DailyTG.40J, tg.1)
} 附件是其中一个txt文件的截图内容
| 
发表于 2015-5-26 13:37:26
