作为一款技术复杂的数据集成管道,Airbyte的架构模式非常清晰明了。

df92c72cf29f4612b1639df5d04b1cf6.jpegUI:一个易于使用的图形界面,用于与Airbyte API进行交互。

35348069238a4129939bcf32545c9d87.jpeg 

 

WebApp Server:处理 UI 和 API 之间的连接。

Config Store:存储所有连接信息(凭据、频率等)。

Scheduler Store:存储调度程序簿记的状态和作业信息。

Config API:Airbyte 的主控制平面。Airbyte 中的所有操作,例如创建源、目标、连接、管理配置等。从 API 配置和调用。

Scheduler:调度程序从 API 获取工作请求,并将其发送到临时服务进行并行化。它负责跟踪成功/失败,并根据配置的频率触发同步。

Temporal Service:管理计划程序的任务队列和工作流。

Worker:工作线程连接到源连接器,拉取数据并将其写入目标。

Temporary Storage:工作人员在需要将数据溢出到磁盘上时可以使用的存储。

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐