Qidi 2020.12.12

0. 前言

看到很多人说在 QNAP NAS 上使用 fdupes 工具只能实现查找重复文件的效果，要删除文件只能对照生成的重复文件列表手动操作。这个说法其实是不对的，fdupes 完全支持自动去重功能。

以下正文说明了使用 fdupes 工具自动查找并删除重复文件的详细步骤。

1. 安装 fdupes

QNAP NAS 没有官方的去重工具，需要先手动下载并安装 fdupes 软件。

fdupes 是一款用于文件去重的开源工具（代码仓库）。喜欢折腾的小伙子可以把代码拉到本地，自己编译安装包；和我一样懒得动的朋友可以直接到 QNAPClub.eu（点我） 下载。

网站上提供了不同的软件版本，请根据自己的 NAS 机型选择对应的版本进行下载：
软件版本

我的 NAS 机型使用的 CPU 是 x86_64 架构，所以选择上图所示的 “TS-NASX86_64” 这项。截至写作本文时，能下载到的最新版安装包为 Fdupes_1.61_x86_64.qpkg。

下载完成后，需要进入 NAS 的 App Center 中手动加载安装包进行安装：
手动安装 fdupes
点击上图所示带 +号 的按钮后，会弹出一个会话框让你选择安装包的路径。找到你刚刚下载的安装包，点击 安装 按钮就可以了。

2. 为 NAS 开启 SSH 连接

fdupes 的图形化操作界面既丑陋又不好用，所以请和我一样，使用命令行方式来操作。

先检查 NAS 是否允许 SSH 连接。如果你不清楚，请先到控制台中检查并确保这个功能已经启用。见下图：
启用SSH
如果你觉得一直开着 SSH 端口不安全，那么在完成文件查重和删除后，再禁用 SSH 连接即可。

QNAP 的 NAS 只允许以管理员身份使用 SSH，所以我们需要在登录时指明身份。在本地打开一个 cmd 窗口，并执行如下命令（记得替换成你自己的 NAS 的 IP 地址）：

ssh admin@192.168.1.24

之后请根据提示，输入你的 NAS 的管理员密码。

至此，我们就通过 SSH 登录到 NAS 上了。

3. 使用 fdupes 查找并删除重复文件

别急，先检查下 fdupes 是否已正确安装。

执行 fdupes --help 命令，如果看到下面这些打印，就说明 fdupes 已经安装就绪了。否则，请检查你下载的软件版本是否有误，并重新安装：

[/share/CACHEDEV1_DATA/myPhotos] # fdupes --help
Usage: fdupes [options] DIRECTORY...

 -r --recurse           for every directory given follow subdirectories
                        encountered within
 -R --recurse:          for each directory given after this option follow
                        subdirectories encountered within (note the ':' at
                        the end of the option, manpage for more details)
 -s --symlinks          follow symlinks
 -H --hardlinks         normally, when two or more files point to the same
                        disk area they are treated as non-duplicates; this
                        option will change this behavior
 -n --noempty           exclude zero-length files from consideration
 -A --nohidden          exclude hidden files from consideration
 -f --omitfirst         omit the first file in each set of matches
 -1 --sameline          list each set of matches on a single line
 -S --size              show size of duplicate files
 -m --summarize         summarize dupe information
 -q --quiet             hide progress indicator
 -d --delete            prompt user for files to preserve and delete all
                        others; important: under particular circumstances,
                        data may be lost when using this option together
                        with -s or --symlinks, or when specifying a
                        particular directory more than once; refer to the
                        fdupes documentation for additional information
 -N --noprompt          together with --delete, preserve the first file in
                        each set of duplicates and delete the rest without
                        prompting the user
 -I --immediate         delete duplicates as they are encountered, without
                        grouping into sets; implies --noprompt
 -p --permissions       don't consider files with different owner/group or
                        permission bits as duplicates
 -o --order=BY          select sort order for output and deleting; by file
                        modification time (BY='time'; default), status
                        change time (BY='ctime'), or filename (BY='name')
 -i --reverse           reverse order while sorting
 -v --version           display fdupes version
 -h --help              display this help message

[/share/CACHEDEV1_DATA/myPhotos] #

通过上面的帮助信息可以看到，我们能够以 交互方式 或者 静默方式 执行重复文件查找和删除。

当检测到重复文件时，交互方式 会给出提示信息，等待用户（也就是你）自己来决定保留重复文件中的哪一个；静默方式 则会按照预先给定的策略自动删除重复的文件。

现在可以真正开始查找和删除重复文件了。

不想读 fdupes帮助信息 的朋友可以直接用我下面给出的几组命令：

要查看指定目录下的文件重复情况，执行命令 fdupes -m -A -R myPhotos（myPhotos 是要进行查重的目标目录名，需要替换成你自己的）。输出信息如下，可以看到重复文件数量及其占用的磁盘空间：

[/share/CACHEDEV1_DATA] # fdupes -A -m -R myPhotos
247 duplicate files (in 247 sets), occupying 441.31 megabytes

[/share/CACHEDEV1_DATA] #

-A 参数的含义是不对隐藏文件进行检查。如果你希望对隐藏文件也进行检查，将命令中的 -A 参数删去即可。

以 交互方式 去重，执行命令 fdupes -d -A -R myPhotos （同上，请替换目标目录名为你自己的）。输出信息如下。每找到一组重复文件，软件都会打印提示，然后等待用户指定一个文件进行保留：

[/share/CACHEDEV1_DATA] # fdupes -d -A -R myPhotos
[1] myPhotos/2019-12-15上传/IMG_3141.JPG
[2] myPhotos/2019-12-15上传/IMG_0398.JPG

Set 1 of 247, preserve files [1 - 2, all]: 1

   [+] myPhotos/2019-12-15上传/IMG_3141.JPG
   [-] myPhotos/2019-12-15上传/IMG_0398.JPG

[1] myPhotos/2019-12-15上传/IMG_0042.JPG
[2] myPhotos/20200807上传/IMG_2557.JPG

Set 2 of 247, preserve files [1 - 2, all]: 1

   [+] myPhotos/2019-12-15上传/IMG_0042.JPG
   [-] myPhotos/20200807上传/IMG_2557.JPG

[1] myPhotos/20200807上传/IMG_4212.JPG
[2] myPhotos/Xiaomi_Pic_Backup/20201009/mmexport1600648565483.jpg

......

使用交互方式的好处是，可以对软件提示的重复文件进行核对后再删除。

以 静默方式 去重，执行命令 fdupes -d -N -A -R myPhotos （同上，请替换目标目录名为你自己的）。输出信息如下。软件默认策略为保留每组重复文件中的第一个，并删除其它项：

[/share/CACHEDEV1_DATA] # fdupes -d -N -A -R myPhotos

   [+] myPhotos/20200807上传/IMG_4218.JPG
   [-] myPhotos/Xiaomi_Pic_Backup/20201009/mmexport1600648483613.jpg


   [+] myPhotos/20200807上传/IMG_2495.JPG
   [-] myPhotos/20200807上传/IMG_2496.JPG


   [+] myPhotos/20200807上传/IMG_1780.JPG
   [-] myPhotos/20200807上传/IMG_1779.JPG

......

无论使用哪种方式去重，最后的结果都是彻底清除了指定目录下的重复文件。为了确认这一事实，我们可以再次执行命令 fdupes -m -A -R myPhotos 进行检查。输出如下：

[/share/CACHEDEV1_DATA] # fdupes -m -A -R myPhotos
No duplicates found.

[/share/CACHEDEV1_DATA] #

可以看到目标目录下已经清理干净。

Logo
GitCode 开源社区

旨在为数千万中国开发者提供一个无缝且高效的云端环境，以支持学习、使用和贡献开源项目。

更多推荐

cover

开源SOTA：阶跃发布端到端语音大模型Step-Audio 2 mini！

avatar GitCode 开源社区
cover

2025学术利器揭晓！Top5文献管理工具助攻科研创新

avatar GitCode 开源社区
cover

如何使用沁言学术 Agent 提升学术研究效率？实用指南

avatar GitCode 开源社区