大数据之路——阿里巴巴大数据实践:总述
阿里巴巴大数据系统架构图:Aplus.JS是web端日志采集技术UserTask是APP端日志采集技术TimeTunel(TT)是一个消息队列DataX是一个数据同步工具,将下层的不同的DB兼容在一起MaxCompute是离线计算平台StreamCompute是实时计算平台OneData是数据整理和管理的体系和工具,构建统一、规范、可共享的全栈数据体系,避免数据的冗余和重复建设,...
·
阿里巴巴大数据系统架构图:
- Aplus.JS是web端日志采集技术
- UserTask是APP端日志采集技术
- TimeTunel(TT)是一个实时消息处理平台,类似于kafka+storm
- DataX是一个数据同步工具,将下层的不同的DB兼容在一起4. DataX是一个数据同步工具,将下层的不同的DB兼容在一起
- MaxCompute是离线计算平台
- StreamCompute是实时计算平台
- OneData是数据整理和管理的体系和工具,构建统一、规范、可共享的全栈数据体系,避免数据的冗余和重复建设,避免数据烟囱(无法被使用到的信息)和不一致。
- 各种计算出来的,分类后的数据存储在数据服务层,数据服务层构建在众多的数据库,如:MySQL,HBase等等之上,后续逐渐迁移到阿里云云数据库ApsaraDB for RDS上(简称RDB)和表格储存TableStore上。
- 其他的应用层需要使用数据,就要调用OneService层的接口(如:承接集团用户识别、用户画像等复杂数据查询)
- 应用层的技术就五花八门,常见的流量分析平台,搜索,广告推荐等等。
魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。
更多推荐



所有评论(0)