4 实时机器学习架构设计
注意事项:1. 数据通量与存量估计:QPS(每秒请求书)2. 响应延迟3. 和已有其他系统之间的关系(对已有系统和基础设施的依赖、是否会取代新系统)4. 系统意义实时架构: Lambda架构(实时响应层、快速处理层、批处理层)实时响应层:快速读写数据库(Redis、Druid)快速处理层:软实时对外部需求进行相应(Spark、Storm)批处理层:在线下完成大量数据处理 (MySQL、Hadoop
·
注意事项:
1. 数据通量与存量估计:QPS(每秒请求书)
2. 响应延迟
3. 和已有其他系统之间的关系(对已有系统和基础设施的依赖、是否会取代新系统)
4. 系统意义
实时架构: Lambda架构(实时响应层、快速处理层、批处理层)
- 实时响应层:快速读写数据库(Redis、Druid)
- 快速处理层:软实时对外部需求进行相应(Spark、Storm)
- 批处理层:在线下完成大量数据处理 (MySQL、Hadoop)
1.瀑布流架构:信息单向流动的,从发生到完成呈现瀑布般从上到下的流动,有时会分叉和汇总。
2.并行响应架构:主要用于解决低延迟要求下机器学习的要求,多用户大量任务同时在极短时间作出相应。
3.实时更新混合模型:将两者进行混合
主要使用的工具: Docker、Spark、Elasticsearch、Storm、Kafka。
魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。
更多推荐



所有评论(0)