【windos/linux】大文件切分上传
在 Linux 中,处理大文件(如日志、备份文件或数据库导出)时,经常需要将其分割成多个小文件以便传输、存储或处理。
·
一. 前言
在 Linux 中,处理大文件(如日志、备份文件或数据库导出)时,经常需要将其分割成多个小文件以便传输、存储或处理。以下是常用的方法和工具:
二. 操作
1.Windows压缩分包传到Linux
一、Windows端压缩分包
方法1:使用WinRAR进行分包压缩
- 右键选择文件 → 添加到压缩文件
- 设置压缩参数:
- 压缩格式:选择ZIP或RAR
- 切分为分卷:输入分卷大小(如100M、500M、1G等)
- 开始压缩,生成类似
filename.z01、filename.z02、filename.zip的分包文件
方法2:使用7-Zip进行分包压缩
- 安装7-Zip软件
- 右键文件 → 7-Zip → 添加到压缩文件
- 设置分卷大小,格式选择7z
- 生成类似
filename.7z.001、filename.7z.002的分包文件
二、文件传输到Linux
方法1:SCP命令传输
# 上传单个文件
scp filename.zip root@192.168.1.100:/home/user/
# 上传整个目录(包含所有分包)
scp -r /path/to/分包目录 root@192.168.1.100:/home/user/
# 指定端口传输
scp -P 2222 filename.zip user@server:/home/user/
方法2:SFTP客户端传输
- 使用FileZilla、WinSCP等图形化工具
- 支持拖拽上传,操作简单直观
三、Linux端合并和解压
方法1:合并后解压(适用于所有分包在同一目录)
# 合并ZIP分包
cat filename.z* > filename.zip
# 合并7z分包
cat filename.7z.* > filename.7z
# 解压文件
unzip filename.zip
方法3:使用tar和split分包的处理
# 合并tar分包
cat filename.tar.* > filename.tar
# 解压tar包
tar xvf filename.tar
# 如果tar包是压缩格式
tar zxvf filename.tar.gz
tar jxvf filename.tar.bz2
四、安装必要的解压工具
安装unzip(ZIP格式)
# Ubuntu/Debian
sudo apt update && sudo apt install unzip
# CentOS/RHEL
sudo yum install unzip
五、验证文件完整性
# 检查文件大小
ls -lh filename.*
# 计算MD5校验和
md5sum filename.zip
# 比较原始文件和合并后的校验和
md5sum original_file.zip
md5sum merged_file.zip
六、注意事项
- 确保所有分包在同一目录下进行合并和解压
- 不要修改分包文件名,保持原始命名格式
- 传输前检查网络连接,避免传输中断
- Linux端确保有足够的磁盘空间进行解压操作
- 使用Rsync进行大文件传输,支持断点续传和增量传输
七、常见问题解决
问题1:解压时报"文件损坏"
# 重新下载损坏的分包
# 或使用修复命令
7z t filename.zip # 测试压缩包完整性
问题2:权限不足
# 修改文件权限
chmod +x filename.zip
# 使用sudo解压
sudo unzip filename.zip
问题3:中文文件名乱码
# 使用unzip的-O参数指定编码
unzip -O GBK filename.zip
2. Linux分包上传
1. 使用 split 命令(推荐)
split 是 Linux 自带的文件分割工具,支持按大小或行数分割。
按大小分割文件
split -b 100M large_file.tar part_
- -b 100M:每部分 100MB(支持 K、M、G 单位)。
- large_file.txt:待分割的大文件。
- part_:分割后的文件前缀(生成 part_aa, part_ab, …)。
2. 合并分割后的文件
使用 cat 命令合并:
cat part_* > merged_file.tar
3. 校验文件完整性(MD5/SHA 校验)
# 生成原始文件的哈希值(如 MD5)
md5sum original_file.txt
# 合并分割后的文件并生成哈希值
cat part_* > merged_file.txt
md5sum merged_file.txt
# 对比两次结果是否一致
以上就是关于【windos/linux】大文件切分上传的基本使用,希望对你有所帮助!
魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。
更多推荐

所有评论(0)