使用 gsutil 下载 google cloud 数据集 下载 waymo 数据集
根据文档下载对应软件包,安装 Google Cloud CLI (不要使用apt安装的方式,容易报错)
https://cloud.google.com/sdk/docs/install?hl=zh-cn#linux

根据提示进行安装,安装完成以后重启控制台,进行初始化
gcloud init
之后会跳转到浏览器进行 google 账号登录,登录成功后即可使用。
之后便可以同时下载多个文件,此外就算下载单个文件也建议使用 gsutil,因为 gstuil 还有一个好处就是可以自动断点重传,不像浏览器那样需要重新下载。


注意!!!!!
如果某 clash 软件在下载时会崩溃,请不要使用 gsutil 默认参数,多线程下载,或者多个任务同时下载非常容易崩溃:
-m 参数在 gsutil 中用于启用并行处理模式
要把这个默认的参数删掉,使用下面这个参数配置:
gsutil -o "GSUtil:parallel_process_count=1" -o "GSUtil:sliced_object_download_max_components=1" cp -r \
"gs://waymo_open_dataset_v_1_2_0/validation/ground_truth_objects" \
"gs://waymo_open_dataset_v_1_2_0/validation/validation_0003.tar" \
"gs://waymo_open_dataset_v_1_2_0/validation/validation_0004.tar" \
"gs://waymo_open_dataset_v_1_2_0/validation/validation_0005.tar" \
"gs://waymo_open_dataset_v_1_2_0/validation/validation_0006.tar" \
"gs://waymo_open_dataset_v_1_2_0/validation/validation_0007.tar" \
.
上面两个参数:
parallel_process_count=1:限制并行下载的进程数为 1。sliced_object_download_max_components=1:限制下载时分片的数量为 1。
魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。
更多推荐


所有评论(0)