一次 rm -rf /* 事故提醒我:Agent 的第一能力不是执行,而是可恢复

大家好,我是 WeiWill,深耕软件工程一线,专注 AI 应用落地与 Agent 开发。

Agent 可恢复执行导读图

“删库跑路”经常被工程师当成段子,今天发生的一次服务器误删除事故,把这个段子拉回了现实。

原本只是想在日志路径下执行 rm -rf *,删除不再需要的日志文件,结果命令中多了一个 /,变成了 rm -rf /*。

服务器很快崩溃,又因为没有可用备份,只能进入重装和数据抢救阶段。

如果只把它理解成一次手误,结论很容易变成:收回服务器权限,禁止执行 rm -rf。

但现在,AI Agent 正从聊天框走向终端、代码仓库、CI/CD 和远程服务器。大家关心的重点,也逐渐从“它会不会回答”,变成“它能不能调用工具、执行命令、完成真实任务”。

这时候再看这次事故,我更关心的不是某个工程师为什么多打了一个斜杠,而是另一个问题:

当人或者 Agent 都可能犯错时,我们的系统为什么允许一条错误命令直接摧毁整台服务器?

文章导读

这篇文章不想只讨论 rm -rf /* 这一条命令本身。

真正值得复盘的是:当人会手误,Agent 也可能误判时,系统应该怎样把一次错误限制在可控范围内。

我会沿着这条线拆开看:

  1. 一个多出来的 /,为什么会把删日志变成删系统;
  2. 单纯禁止 rm -rf,为什么挡不住真正的破坏能力;
  3. Agent 进入终端、服务器和 CI/CD 之后,提示词为什么不能代替权限边界;
  4. 最小权限、范围预览、操作审计和备份恢复,应该怎样组合成硬约束;
  5. 如果误删除已经发生,现场优先级应该是什么。

先说核心判断:

真正可用的 Agent,不是能够执行任意命令,而是在明确边界内完成任务;即使判断错误,也不会把一次错误变成无法恢复的事故。

一个斜杠,为什么能把删日志变成删系统

先把这条命令拆开来看。

原本想执行的是:

rm -rf *

其中,* 会由 Shell 展开成当前位置下的文件和子路径。所以这条命令有一个隐藏前提:当前工作位置必须正确。

而实际执行的是:

rm -rf /*

这里多出来的 / 代表根文件系统,/* 会匹配根下面的大量内容,例如 /etc、/usr、/var、/home 等。

很多 Linux 环境中的 rm 会保护直接删除 / 的操作,但 /* 并不是把 / 作为唯一目标。Shell 会先把通配符展开成根下面的一组具体路径,再交给 rm 删除,因此这道保护未必能挡住它。

当系统配置、动态库、可执行文件和服务数据被陆续删除时,服务器不一定会在第一秒立刻关机。

部分已经运行的进程可能暂时继续工作,因为所需内容已经加载进内存。但新的命令会开始失败,服务无法重启,SSH 连接可能中断,系统一旦重启便可能无法正常启动。

这也是此类事故最容易误判的地方:刚执行完命令时,服务器似乎还活着,但破坏已经发生。

更需要注意的是,即便没有多出这个 /,直接依赖当前位置执行 rm -rf *,本身也不是一个适合生产环境的日志清理方案。

只要当前位置不符合预期,或者前面的 cd 没有成功,删除范围就可能完全失控。

真正的问题,不止是命令写错了

如果一条命令写错就能摧毁服务器,说明出问题的不是一个点,而是一整条防线。

至少有几道应该存在的保护没有发挥作用:

  • 危险操作直接在生产环境执行;
  • 执行账号拥有过大的系统权限;
  • 删除范围依赖当前位置和通配符;
  • 执行前没有展示最终目标;
  • 删除数量和容量没有上限;
  • 高风险操作不需要二次确认;
  • 系统没有可用快照和备份;
  • 出现故障后无法快速重建服务。

这里面,命令写错只是触发点。

真正让一次手误升级为严重事故的,是过大的权限、过宽的影响范围,以及缺失的恢复能力同时出现。

如果账号只能操作一个独立日志卷,系统文件就不会被删除。

如果删除前必须展示目标清单,异常路径很容易被发现。

如果操作前自动创建快照,即使删除范围错误,也有回滚机会。

如果系统能够通过镜像和配置快速重建,故障时间也会大幅缩短。

所以,我不太赞成把这类事故简单归结为“某个人不够仔细”。

要求人永远不犯错,不是可靠的工程方案。

为什么到了 Agent 时代,这个问题更加危险

人执行危险命令,通常还会看一眼终端、当前位置和命令参数。

Agent 执行命令时,则可能同时受到提示词、上下文、环境变量、工具返回结果和历史步骤的影响。

比如,我们让一个运维 Agent 完成这样的任务:

检查服务器磁盘空间,清理某个服务超过 7 天的旧日志,保留最近日志,不要影响线上服务。

这个需求听上去很明确,但到了执行阶段,仍然可能出现很多问题。

假设清理程序使用了:

rm -rf "${LOG_DIR}"/*

如果 LOG_DIR 没有正确加载,而是一个空字符串,那么最终目标就可能变成 /*。

再比如,Agent 先执行:

cd "$LOG_DIR"; rm -rf *

如果前面的 cd 因路径不存在或权限不足而失败,后面的删除仍然会继续执行。此时删掉的不是日志,而是 Agent 原本所在位置的内容。

还有一种情况是,Agent 判断磁盘空间不足,于是决定扩大清理范围。它可能先删除应用日志,再删除缓存、构建产物、容器镜像,最后触碰原本不应该修改的数据。

每一步单独看都有理由,但连起来之后,影响范围可能远远超出任务要求。

这说明一个重要问题:

自然语言描述的是我们的意图,不是系统真正的安全边界。

我们可以在提示词中写“不要删除系统文件”“不要影响生产数据”,但如果执行账号拥有 root 权限,工具又允许调用任意 Shell 命令,那么这些文字只是一种软约束。

提示词可以帮助模型做判断,却不能代替操作系统权限、资源隔离、参数校验和审批机制。

Agent 能力越强,这个区别越重要。

禁止 rm -rf,为什么只能解决一小部分问题

事故发生后,禁止执行 rm -rf 是很自然的反应,但它只能拦住一种表面形式。

删除文件并不只有这一种方式:

  • find 可以批量删除;
  • Python 可以调用 shutil.rmtree;
  • 存储服务可以通过 API 批量删除对象;
  • 数据库可以执行 DROP 或无条件 DELETE;
  • 容器工具可以清理镜像、卷和运行实例;
  • 重定向、截断和覆盖也可能破坏重要文件。

即便把 rm 替换成需要确认的别名,也未必可靠。

非交互式环境不一定加载别名,-f 参数可能关闭确认,Agent 也可以换一种工具完成同样的操作。

所以,真正需要限制的不是某个命令名称,而是它背后的能力:

  • 谁可以执行;
  • 可以在哪个环境执行;
  • 可以影响哪些资源;
  • 一次最多影响多少;
  • 什么操作必须审批;
  • 出错后能否恢复。

如果这些问题没有答案,命令黑名单只会让危险操作换一种写法继续出现。

最好的日志删除保护,是减少手工删除

这次事故的起点是清理日志。

但从工程角度看,如果生产环境经常需要工程师临时登录服务器,手工执行递归删除,那么日志治理本身就已经出现了问题。

日志保留应该尽量由稳定机制处理,而不是靠人在磁盘快满时紧急操作。

我更倾向于把这件事拆成几层。

第一层是应用自身的滚动策略。

日志按日期或容量切分,达到保留时间后自动删除,旧文件可以压缩,避免单个日志无限增长。

第二层是系统级轮转。

通过成熟的日志轮转机制控制文件数量、容量和保留周期,同时通知应用重新打开日志文件。

这里还有一个常见误区:删除日志文件后,磁盘空间不一定立即释放。

如果应用进程仍然持有文件描述符,文件虽然从文件系统中看不到了,空间却可能继续被占用。此时单纯执行 rm 并不能真正解决磁盘问题,还需要让进程重新打开日志,或者正确完成轮转。

第三层是集中收集。

业务日志发送到独立的日志平台或对象存储,应用服务器只保留短周期内容。这样即便服务器重建,排查问题所需的日志也不会一起消失。

第四层是容量预警。

不要等磁盘达到 98% 才处理。可以在 70%、85%、95% 设置不同等级的告警和动作,提前暴露增长异常。

第五层才是应急清理。

即使需要应急操作,也不应该允许输入任意路径,而应该由一个范围固定的清理工具完成:只清理指定服务,只删除超过保留期的文件,先预览数量和容量,超过阈值则停止执行。

这些机制需要配置、监控和存储成本,但它们解决的是根因:让生产环境不再依赖一次高风险的临时操作。

我会怎样限制 Agent 的执行权限

Agent 要进入真实工作流,不可能永远只有只读权限。

它需要修改代码、生成文件、调用接口,甚至执行部署和运维动作。问题不是要不要给权限,而是如何把权限拆小。

先给 Agent 一个独立身份

Agent 不应该默认使用个人账号,更不应该直接持有长期 root 凭证。

更合理的做法是给它单独的服务身份,只开放完成任务所需的最小权限。

例如,一个日志诊断 Agent 可以读取磁盘使用率、服务状态和指定日志,但不能修改系统配置。

一个部署 Agent 可以更新某个应用、重启对应服务,却不能管理整台服务器上的所有进程。

如果确实需要临时高权限,可以通过短时凭证和一次性授权完成,并在任务结束后自动失效。

独立身份还有一个重要价值:出了问题之后,能够明确区分这次操作由谁发起、经过哪个工具、使用了什么权限。

把可写范围限制在工作区

对于 Coding Agent,我通常更关心的不是它能不能写文件,而是它能写到哪里。

在本地开发环境中,可以只允许它修改当前项目;项目之外的读取需要确认,项目之外的写入默认拒绝。

在团队环境中,可以把 Agent 放进临时容器或隔离环境,只挂载代码工作区,并尽量使用只读方式提供依赖和配置。

尤其需要谨慎处理以下入口:

  • 用户主目录;
  • SSH 密钥;
  • 云平台凭证;
  • 生产数据库凭证;
  • 宿主机根文件系统;
  • Docker Socket;
  • 共享网络存储。

其中,Docker Socket 经常被低估。一旦 Agent 能控制宿主机上的 Docker,它可能通过挂载宿主机路径间接获得非常高的权限。

隔离环境会增加部署复杂度,但相比让 Agent 直接在宿主机上自由执行命令,这个成本是值得的。

用窄工具替代通用 Shell

通用 Shell 的优势是灵活,风险也是过于灵活。

在开发和探索阶段,我可以接受 Agent 使用终端,因为环境可重建、代码有 Git、影响范围有限。

但到了生产环境,我更愿意把高频操作封装成窄工具。

例如,不向 Agent提供任意删除能力,而是提供一个 cleanup_expired_logs 操作,只接受服务名、保留天数和是否预览等参数。

服务端再完成真正的约束:

  • 服务名必须来自允许列表;
  • 实际路径由服务端映射,不能由模型随意填写;
  • 保留天数不能低于安全下限;
  • 执行前返回文件数量和预计释放空间;
  • 超过删除数量或容量上限时自动拒绝;
  • 默认先预览,再由审批结果触发执行。

这样一来,模型负责理解“要清理哪个服务的旧日志”,但它无法把目标改成根文件系统。

如果通过 MCP 或其他工具协议把能力提供给 Agent,同样要注意:工具描述只是告诉模型如何调用,真正的权限校验必须发生在服务端。

我更习惯这样理解各层职责:

  • 模型负责理解任务;
  • Skill 负责沉淀操作方法;
  • 工具负责执行具体动作;
  • 权限系统负责判断能不能做;
  • 基础设施负责限制最坏结果。

不能把所有安全责任都交给模型自己判断。

按风险决定是否需要审批

如果所有操作都要求人工确认,Agent 很快就会退化成一个不断弹窗的助手。

但如果所有操作都自动执行,生产风险又不可接受。

更现实的做法是按影响范围分级:

风险等级 典型操作 默认策略
低风险 查看日志、读取状态、查询指标 自动执行并记录
中风险 修改项目文件、重启开发服务 自动执行,保留差异和回滚点
高风险 生产发布、批量删除、重启线上服务 预览影响范围,人工确认
极高风险 递归删除、数据库结构变更、权限修改、备份删除 双人确认、短时授权、执行前快照

审批的重点也不应该只是问一句“是否继续”。

真正有价值的审批信息应该包括:目标环境、最终对象、预计影响数量、是否可回滚、备份状态和执行身份。

如果确认页面只展示一段抽象命令,人依然很容易点错。

可恢复,比承诺永不犯错更现实

无论是人还是模型,都无法保证永远不犯错。

因此,生产系统不能只追求“阻止所有错误”,还要保证“错误发生后不会不可收拾”。

这也是我从这次事故中得到的核心判断:

Agent 的第一能力不应该只是执行,而应该是受限执行和可恢复执行。

可恢复不是简单地打开一个备份开关,它至少包含四个部分。

第一,系统和业务数据尽量分离。

操作系统可以重装,应用可以重新发布,但用户数据、数据库文件和业务附件未必能够重新生成。把所有内容混在同一块磁盘上,会让一次系统故障同时升级为数据事故。

第二,服务器需要可重建。

系统依赖、应用版本、配置和启动方式应该尽量代码化、标准化。即使原服务器无法修复,也能够从可信镜像快速创建新环境,而不是靠工程师回忆当初装过什么。

第三,备份不能和生产权限绑在一起。

如果 Agent 既能删除生产数据,又能删除快照和备份,那么备份并没有形成真正的安全边界。

重要备份需要独立权限、明确保留周期,必要时采用不可修改或跨账号保存的方式。

第四,恢复流程必须实际演练。

有备份不等于能恢复。

备份文件是否完整、恢复需要多久、应用能否连接、数据是否一致,只有真正演练过才能知道。

对业务系统来说,至少要明确两个指标:

  • 最多能接受丢失多长时间的数据;
  • 出现故障后,多久必须恢复服务。

没有这两个目标,备份往往只是一种心理安慰。

如果误删除已经发生,先不要急着重装

当系统文件已经被误删,现场最重要的是减少后续写入。

继续安装软件、反复重启、在原磁盘上重装系统,都可能覆盖尚未被重写的数据区域,让后续恢复更加困难。

更稳妥的处理顺序通常是:

  1. 立即停止相关 Agent、定时任务和自动化操作;
  2. 尽量停止对受损磁盘的继续写入;
  3. 保存云硬盘快照或完整磁盘镜像;
  4. 盘点数据库副本、对象存储、日志平台和其他数据副本;
  5. 使用新服务器恢复业务,不在受损环境上继续冒险;
  6. 对重要数据交给有经验的恢复人员评估。

如果系统文件和业务数据都在同一个磁盘上,恢复难度会明显增加。

即便成功找回一部分文件,也不代表这台服务器重新具备可信状态。生产服务更适合在全新环境中重建,再把确认完整的数据恢复进去。

同时,还要保留事故时间线:谁发起了操作、当时位于什么位置、实际目标有哪些、命令执行到了哪一步。

这些信息既影响恢复判断,也决定后续应该补哪一道防线。

接下来,我建议马上做三件事

第一,检查所有 Agent 的执行入口。

把本地终端、远程 SSH、CI/CD、MCP 工具、云平台凭证和数据库账号列出来,确认每个入口使用什么身份、能访问哪些环境、是否拥有生产写权限。

如果一个 Coding Agent 可以直接拿到生产 root 凭证,应该优先处理。

第二,选一个最高频的危险操作,把它从通用命令改成受限工具。

日志清理、服务重启、应用发布和数据库变更都可以作为起点。先加入固定范围、预览结果、数量上限、审批和审计,不必一开始建设一套庞大的平台。

第三,实际做一次恢复演练。

随机选择一个文件、一个服务或者一台测试服务器,验证能否从备份恢复,并记录真实耗时。

很多团队直到事故发生,才发现备份缺文件、权限已失效,或者恢复过程从未验证过。

这次 rm -rf /* 事故,不是我们拒绝 Agent 进入生产环境的理由。

恰恰相反,正因为 Agent 正在获得越来越强的执行能力,我们才更需要把软件工程中那些不够显眼、却真正决定系统可靠性的东西补回来:最小权限、环境隔离、操作审计、风险审批、备份和恢复。

真正可用的 Agent,不是能够在服务器上执行任何命令。

而是它能够在明确边界内完成任务,即使判断错误,也不会把一次错误变成无法恢复的事故。

我是 WeiWill,深耕软件工程一线,专注 AI 应用落地与 Agent 开发。