断点续传和多线程下载

在实际中使用HTTP下载的时候,很多时候会遇到下载过程中突然网络不佳,下载中断,或者我们主动暂停下载,再比如使用迅雷下载一个超大文件时,会分成很多段、多线程地下载

一、HTTP下载实现原理

无论断点续传还是多线程下载,都是通过HTTP请求去进行下载的,请求时通过在请求头中添加Range首部字段告诉服务器下载需求,服务端返回响应时通过响应头中以字段Content-Range来标记接受的范围和文件总大小

请求头中Range

指定下载的文件的第一个字节的位置和最后一个字节的位置
一般格式为:Range:(unit=first byte pos)-[last byte pos](左开右闭-包尾不包头)(但实际中HTTP为了使它的约定规则更完善,两边都是闭区间来执行下载)
如:
Range:byte=0-499
Range:byte=500-999
Range:byte=-500
Range:byte=500-
Range:byte=500-600,601-999

响应头中Content-Range

用于响应头中,在接收到带有Range的HTTP请求后,服务器会通过响应头中以Content-Range头部字段返回当前接受的范围和文件总大小
一般格式为:Content-Range:bytes(unit first byte pos)-[last byte pos]/[entity length]
若不使用断点续传,则返回状态码 200 OK
若使用断点续传,则返回状态码 206 Partial Content

无论断点续传还是像迅雷这样多线程下载,若续传成功,则返回状态码206,若文件有变动,则返回200和新文件内容


二、断点续传的过程

1.客户端目标下载一个1024K的文件,已经下载了其中512K

2.此时网络中断,待网络恢复后,客户端请求续传,因此需要在请求头中声明本次需要续传的片段:
Range:bytes=512000-
来告知服务端需从目标文件的512K位置开始传输文件

3.服务端收到断点续传的HTTP请求,从文件的512K位置开始传输,并在HTTP响应头中添加:
Content-Range:bytes 512000-/1024000(表示从512K位置一直到最后,并标识文件总大小为1024K)
同时返回状态码为:206 Partial Content,而不是 200 OK

三、多线程下载

多线程的下载步骤其实就类似断点续传,只不过断点续传是被动地增量下载,而多线程下载则是主动地分片下载,同样使用Range的模式
如将一个100M的文件分成100片进行多线程下载:
那么第一个Range范围就是0-1024000
第二个Range范围就是1024001-2048000

一直到第一百个Range

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐