Linux如何快速删除大量文件

2023-02-13

字数统计: 859字 | 阅读时长≈ 3分

背景

最近服务器经常遇到磁盘占用空间满的告警，因此跟进定位问题后，发现原来是airflow的有好几个任务每分钟都在产生日志文件，导致磁盘空间占用率暴涨，因此想了几个策略：

问题就出现在清理日志文件，打算先清除一遍，主要清除一个月以前的日志文件，命令为find /data/airflow/ -name '*.log' -and -mtime +30 -type f |xargs rm。

但是等了半天发现日志文件一直无法清除掉，不知道为什么？

后面直接上机器删除文件，采用rm -rf ./*.log，发现报错如下：

1	/bin/rm: argument list too long

原因：删除文件中包含的小文件数量过多，通常是由于受到 shell 参数个数限制所致

虽然网上有其他方案可以快速解决，比如：find减少文件数量。

这下子就搞的很郁闷了，后面上网找了方案，发现可以通过rsync去快速删除大量文件，因此想记录总结一下。

我们需要对Linux文件存储原理做一个基本的了解，Linux文件存储数据是放在一张inode 表，里面每一个文件的节点，每个节点包括以下内容：

Linux文件真正删除的过程：

rm的原理：减少磁盘引用计数i_nlink，就是减少其他文件对这个文件链接，实际并没有删除文件内容。

因此，如果日志文件正在其他进程使用，rm并不是真正删除，i_count并不会减少，因此也不会释放磁盘空间。

如果想要真正删除一个文件，还需要同时将i_count降至0。

了解完rm的原理，也就真正明白为什么find /opt/airflow/logs -name '*.*' -and -mtime +30 -type f | xargs rm -rvf命令会这么慢，因为它要去找日志文件的所有link链接，然后一一删除掉。

最终在网上找了最佳解决方案，就是使用rsync。

rsync本身的就是将两个文件夹作同步使用，如何使用rsync删除文件，步骤是这样子:

很取巧的方式，但是也很有效果，具体命令如下：

#制造一个空文件夹
mkdir -p /opt/airflow/empty;

#执行rsync同步空文件夹
rsync --delete-before -aO  /opt/airflow/empty/ /opt/airflow/logs/;

命令详解：