Apache Hudi数据湖的Cleaning服务
目录1. 介绍2. Cleaning Retention Policies3. Run Asynchronously4. CLI1. 介绍默认是自动进行clean，由参数hoodie.clean.automatic设置，表示在每一次commit的时候就clean file slices。推荐设置为true开启该功能2. Cleaning Retention PoliciesKEEP_LATEST_
·
1. 介绍
默认是自动进行clean，由参数hoodie.clean.automatic设置，表示在每一次commit的时候就clean file slices。推荐设置为true开启该功能
2. Cleaning Retention Policies
- KEEP_LATEST_COMMITS: 默认的policy，保留最近N次commit
- KEEP_LATEST_FILE_VERSIONS：保留最近N个file version
3. Run Asynchronously
该参数只有在hoodie.clean.automatic = true时，才有效。默认为同步clean，设置为异步clean方式如下：
hoodie.clean.async=true
4. CLI
CLI为cleaner service提供以下命令：
- cleans show
- clean showpartitions
- cleans run
魔乐社区（Modelers.cn) 是一个中立、公益的人工智能社区，提供人工智能工具、模型、数据的托管、展示与应用协同服务，为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作，由全产业链共同建设、共同运营、共同享有，推动国产AI生态繁荣发展。
更多推荐
1
0- 0
已为社区贡献3条内容
所有评论(0)