mongoTemplate使用游标查询大量数据

 

解决方法:

以前我们要获取某张表中的所有数据时通过findAll方法把所有数据加载到代码内存中,这样就很耗内存导致服务器宕机。所以要获取多有数据可以使用游标来多次遍历获取,以下就是代码示例:

 DBCursor dbCursor  = null;

        DBCursor dbLogCursor  = null;

        try {

           DBObject query = new BasicDBObject(); //setup the query criteria 设置查询条件

            query.put("userId", 1);

            dbCursor = mongoTemplate.getCollection("表名").find(query);//每次从mongodb获取1条数据处理完后再循环获取,这样比较慢

           while (dbCursor.hasNext()){

DBObject doc = dbCursor.next();

              }

        } catch (Exception e) {

            e.printStackTrace();

        }finally {

            if(dbCursor!=null)dbCursor.close();

        }

上面代码游标没有设置批次,默认是一条条遍历,这样效率很慢,要设置批次请参考:http://www.yayihouse.com/yayishuwu/chapter/2842

 

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐