python实现文件的分割与合并

#编程# ?#python#?

有时我们会遇到需要将文件进行分割的情况，例如网盘对单个文件大小的限制。有些软件可以实现这一点，如7-Zip的分卷压缩，但对硬盘空间有一定要求，因为软件会将所有分块都输出出来，这就要求硬盘可用空间要大于文件大小，如文件大小为100G，则要求硬盘至少有100G可用空间。有没有一种方法只输出其中一个分块呢？利用python可以很容易地实现这一点。

特点：

• 可以指定输出位置、分块大小和读取缓冲区大小；
• 可以通过输入编号的方式来指定输出分块；
• 文件大小用合适的单位显示；
• 无第三方库的依赖。

文件分割的代码：

import os
import sys

# 指定文件名、输出位置、分块大小和读取缓冲区大小
filename = sys.argv[1]
despath = 'D:\\'
block_size = 1024 * 1024 * 1024 * 6
buffersize = 1024 * 1024 * 100

# 文件大小的单位处理
def unit(a):
    if a < 1024:
        return str(a) + "B"
    elif 1024 <= a < 1048576:
        b = a / 1024
        b = "%.2f" % b
        return str(b) + "KB"
    elif 1048576 <= a < 1073741824:
        b = a / 1048576
        b = "%.2f" % b
        return str(b) + "MB"
    elif a >= 1073741824:
        b = a / 1073741824
        b = "%.2f" % b
        return str(b) + "GB"


# 获取文件大小
file_size = os.path.getsize(filename)

# 无需分块的情况
if file_size < block_size:
    print("文件大小小于分块大小，无需分块！")
    exit()

# 计算分块数量
num_blocks = file_size // block_size
if file_size % block_size != 0:
    num_blocks += 1

# 输出相关信息
print("要分割的文件：%s" % filename)
print("输出位置：%s" % despath)
print("文件大小：%s" % unit(file_size))
print("分块大小：%s" % unit(block_size))

# 由用户指定提取哪一个分块
block_num = int(input("请输入要提取的分块编号（1 - %d）：" % num_blocks))

# 检查输入是否合法
if block_num < 1 or block_num > num_blocks:
    print("分块编号输入错误！")
    exit()

# 提取分块
with open(filename, 'rb') as f:
    # 计算起始位置和读取长度
    start = (block_num - 1) * block_size
    end = min(file_size, start + block_size)
    length = end - start

    # 移动文件指针到起始位置
    f.seek(start)
    # 目标文件的文件名格式
    desname = despath + os.path.split(filename)[1] + '.%03d' % block_num
    # 若分片大小小于缓冲区则直接读取
    if length < buffersize:
        block = f.read(length)
        # 若目标文件存在则删除重建，不存在则直接建立
        if os.path.exists(desname):
            os.remove(desname)
        with open(desname, 'ab+') as g:
            g.write(block)
    # 若分片大小大于缓冲区则用buffersize多次取length
    else:
        # a为取的次数
        a = length // buffersize
        # tail为剩余部分，为0时不存在，否则存在
        tail = length % buffersize
        if os.path.exists(desname):
            os.remove(desname)
        g = open(desname, 'ab+')
        for i in range(a):
            q = f.read(buffersize)
            g.write(q)
        if tail != 0:
            q = f.read(tail)
            g.write(q)
        g.close()

print("分块提取完成！")

用法：

• 根据需要修改输出位置、分块大小和读取缓冲区大小，将代码保存为.py文件，如file_split.py；
• 运行

python file_split.py <file>

• 若文件大小小于分块大小则提示无需分块；
• 反之则输出要分割的文件、输出位置、文件大小和分块大小，输入要提取的分块编号回车即可，输出文件名格式为

file_name.ext.###

其中file_name为文件名，ext为扩展名，###为分块编号，如输入5后为005。

再说文件合并的代码：

import os
import sys

file1 = sys.argv[1]
file2 = sys.argv[2]
buffersize = 1024 * 1024 * 100

with open(file1, 'ab') as f1:
    file_size2 = os.path.getsize(file2)
    if file_size2 < buffersize:
        with open(file2, 'rb') as f2:
            f1.write(f2.read())
        # 若第二个文件的大小大于缓冲区则用buffersize多次取file_size2
    else:
        # a为取的次数
        a = file_size2 // buffersize
        # tail为剩余部分，为0时不存在，否则存在
        tail = file_size2 % buffersize
        with open(file2, 'rb') as f2:
            for i in range(a):
                f1.write(f2.read(buffersize))
            if tail != 0:
                f1.write(f2.read(tail))

用法：

• 将代码保存为.py文件，如file_join.py；
• 运行

python file_join.py <file1> <file2>

原理：将file2的内容追加到file1后面。

若有多个分块要合并，则依次运行

python file_join.py file.001 file.002
python file_join.py file.001 file.003
python file_join.py file.001 file.004
...

最后再将“.001”去掉即可将文件还原。

--End--