在日常模型训练时都习惯在终端直接bash run.sh训练模型,这是最直接也最简单的方法;但有时候各种原因需要关机操作机,又或者无法避免 ssh工具吊针(xshell),所以训练到一半的模型不得不重新开始训练,相当浪费时间;所以可以选择后台挂载的方式训练,能够得到比较稳定的效果;

后台训练比较常用的方法有:

1. nohup

一般比较常用,但有时候也会掉线,需要重新启动;

使用方法,与shell脚本结合,将日志输出到test.log中,可以使用tail -fn 10 test.log 动态查看日志(打印最后10行日志);

一般格式:

```shell

nohup sh test.sh > test.log

```

本人常用格式:

```shell

nohup ./test.sh > test.log 2>&1 &

```

2.tmux 

Tmux 是一个终端复用器(terminal multiplexer),非常有用,属于常用的开发工具。

在linux中安装tmux之后,在终端输入 tmux new -s  [后台起名] 即可进入【后台起名】便可以进行训练;例如:

tmux new -s mysession

就会进入mysession的后台,从而可以进行正常训练 ./run.sh,无需再用nohup;

如何安全退出: ctrl+b 然后d就可以 安全退出

重新进入mysession:tmux a -t mysession

其他常用命令可以参考:Tmux 使用教程 - 阮一峰的网络日志

I LOVE TMUX !!! SO DO YOU !!!

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐