大数据概述概念总结
·
- 第三次信息化浪潮的标志：云计算、大数据、物联网技术的普及
- 大数据时代新兴的技术：Spark、Hadoop、HBase
- 大数据发展的三个阶段：
- 萌芽期（上世纪90年代至本世纪初）
- 成熟期（本实际前十年）
- 大规模应用期（2010年前后）
- 数据产生方式大致经历了三个阶段：
- 感知式系统阶段
- 运营式系统阶段
- 用户原创内容阶段
- 大数据带来思维方式的三个转变是：
- 全样而非抽样
- 相关而非因果
- 效率而非精确
- 大数据的4V特性：数据量大、数据类型繁多、处理速度快、价值密度低
- Jim Gray博士认为，人类在科学研究上先后经历了四种范式：实验科学、理论科学、计算科学和数据密集型科学
- 大数据计算模式：
- 批处理计算：针对大规模数据的批量处理。MapReduce、Spark等
- 流计算：针对流数据的实时计算。Storm、S4、Flume、Streams、Puma、DStream、Super Mario、银河流数据处理平台等
- 图计算：针对大规模图结构数据的处理。Pregel、GraphX、Giraph、PowerGraph、Hama、GoldenOrb等
- 查询分析计算：大规模数据的存储管理和查询分析。Dremel、Hive、Cassandra、Impala
- 云计算的典型服务模式：SaaS、IaaS、PaaS
- 云计算关键技术包括：虚拟化、分布式存储、分布式计算、多租户等
- 物联网中的关键技术包括识别和感知技术（二维码、RFID、传感器等）、网络与
通信技术、数据挖掘与融合技术等 - 云计算、大数据和物联网三者紧密相关，相辅相成
- 物联网可以借助于大数据实现海量数据的分析
- 物联网可以借助于云计算实现海量数据的存储
魔乐社区（Modelers.cn) 是一个中立、公益的人工智能社区，提供人工智能工具、模型、数据的托管、展示与应用协同服务，为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作，由全产业链共同建设、共同运营、共同享有，推动国产AI生态繁荣发展。
更多推荐
1
0- 0
已为社区贡献1条内容
所有评论(0)