并行计算与机器学习
重要概念通信：sharing memory & message passing架构：client-server & peer-to-peerSynchronization： bulk synchronous & asynchronousParallelism： data parallelism ( more popular) VSmodel parallelism并行编程模
·
重要概念
- 通信：sharing memory & message passing
- 架构：client-server & peer-to-peer
- Synchronization： bulk synchronous & asynchronous
- Parallelism： data parallelism ( more popular) VS model parallelism
并行编程模型
- MapReduce： message passing， client-server，and synchronous
- Parameter Server：message passing，client-server，and asynchronous
- Decentralized：message passing，peer-to-peer，synchronous or asynchronous
通信方式
- share memory
- Message passing
Synchronization
-
bulk synchronous
-
asynchronous
？？ -
synchronous algorithm
-
asynchronous algorithm
编程模型
- MapReduce
- Parameter Server
- 去中心化网络
学习来源：https://www.bilibili.com/video/BV1zE411W7Wo?p=1
魔乐社区（Modelers.cn) 是一个中立、公益的人工智能社区，提供人工智能工具、模型、数据的托管、展示与应用协同服务，为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作，由全产业链共同建设、共同运营、共同享有，推动国产AI生态繁荣发展。
更多推荐
0
0- 0
已为社区贡献4条内容
所有评论(0)