我想从CSV中读取大量数据,包含大约500,000行.

我正在使用OpenCSV库.我的代码是这样的

CsvToBean csvConvertor = new CsvToBean();

List list = null;

try {

list =csvConvertor.parse(strategy, new BufferedReader(new FileReader(filepath)));

} catch (FileNotFoundException e) {

e.printStackTrace();

}

最多200,000条记录,数据被读入用户bean对象列表.但对于数据而言,我得到的不止于此

java.lang.OutOfMemoryError: Java heap space

我在“eclipse.ini”文件中有这个内存设置

-Xms256m

-Xmx1024m

我正在考虑将大文件拆分为单独文件并再次读取这些文件的解决方案,我认为这是一个很长的解决方案.

有没有其他方法,我可以通过它避免OutOfMemoryError异常.

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐