我把生产数据库换成 SQLite,账单砍掉九成,结果被一个文件锁教育了一整天

2026-11-22 13 0

作为一个把"省事"刻进 DNA 的人,我一直觉得为一个每天只有几百个请求的服务,单独养一台 PostgreSQL 实例,是有点奢侈的。那玩意儿最小规格也要钱,要备份、要监控、要半夜被连接数告警吓醒,还要祈祷磁盘别满。于是我做了一个在技术圈看起来很大胆、实际上也很蠢的决定:把生产库换成 SQLite。

账单确实砍下去了。运维告警也归零了——因为整个"数据库运维"这件事,从一份 systemd 配置退化成了一个文件。

然后我被一个叫 SQLITE_BUSY 的错误 教育了一整天。这篇文章不是教程,是我留下的伤口记录,顺便讲讲那些文档里没明说的坑:为什么 SQLite 明明支持并发,却比你想的脆弱得多。

一、先搞清楚:SQLite 不是"小型数据库",它是一个并发模型极强的单机引擎

SQLite 的文件就是一个库,不需要服务进程、不需要端口、不需要客户端协议。读取时直接把文件 mmap 进页缓存,写入时靠操作系统的 fcntl 锁来协调多个进程。这套设计在桌面应用、CLI 工具、浏览器、单机 Agent 场景里是神来之笔。

但它有一个绕不开的硬约束:一个库,同一时刻只能有一个写事务。

注意,是"一个库",不是"一张表"。你有多少张表、多少个连接、多少个 goroutine 都无所谓,写操作全部在这把全局的库级锁上排队。这跟 MySQL 的行级锁、PostgreSQL 的 MVCC 完全不是一个物种。

换句话说:PG 是"多辆车跑同一条路",SQLite 是"这条路一次只准过一辆车,但过车速度很快"。

所以第一个判断标准就出来了:你的服务是读多写少、写入之间还有间隔吗?如果是,SQLite 可能是你见过最舒服的方案。如果不是,你会很快知道它的脾气。

二、WAL 模式:救命的开关,也是最容易被误用的开关

SQLite 默认的日志模式叫 rollback journal,写事务时会锁住整个库,读写互斥。而 WAL(Write-Ahead Logging)模式把机制改成了:写入先追加到同目录下的 app.db-wal 文件,读者从 WAL 里读快照,不被写者阻塞。

开启方式简单到有点过分:

PRAGMA journal_mode=WAL;

但请注意,WAL 解决的是"读写互斥",没有解决"写写互斥"。写者依然是排队的那个。多个请求同时写,SQLite 会立刻甩出 SQLITE_BUSY。

第一个坑就在这儿:很多教程写"WAL 模式下可以一边写一边读",读者就理所当然地以为并发写也没问题,然后在生产上被数据库锁打得满地找牙。

三、busy_timeout:不是万能药,而且有个致命盲区

SQLite 遇到锁冲突时,默认行为是立刻返回 SQLITE_BUSY。你可以通过 busy_timeout 让它等一等:

PRAGMA busy_timeout = 5000;  -- 最多等 5 秒

这解决的是"锁很快就会释放"的情况,比如另一个写事务只花了几毫秒。可它有个盲区:当你的事务是 deferred(延迟启动) 时,问题不再是"等锁",而是"事务快照过期"。

deferred 事务的执行顺序是:先读,读到快照 → 再写。此时如果在你读完、准备写之前,另一个连接已经提交了新的写入,SQLite 会返回 SQLITE_BUSY_SNAPSHOT——这个错误 busy_timeout 救不了,因为等下去也不会变好,你手里的快照已经过期了。

解法是把事务类型改成 immediate:

PRAGMA busy_timeout = 5000;
BEGIN IMMEDIATE;   -- 一上来就拿写锁,而不是等到写的时候才拿

在 Go 里,这个参数可以直接写在 DSN 上:

dsn := "file:app.db?_journal_mode=WAL&_busy_timeout=5000&_txlock=immediate"
db, _ := sql.Open("sqlite", dsn)

我见过太多项目漏掉 _txlock=immediate,然后在压测时收到一堆 database is locked,第一反应是"SQLite 不行"。其实只是姿势不对。

四、最阴的那个坑:把 SQLite 放在 NFS 上

这一条差点让我把整台机器重装。

WAL 模式依赖一个叫 app.db-shm 的共享内存文件来做索引协调,它的实现是 POSIX 共享内存 + 文件锁。而 NFS(以及大部分云盘 NFS、某些容器持久卷)不支持这套锁语义。结果是:本地跑得好好的,一上 K8s 的 NFS PVC,进程要么报 disk I/O error,要么数据悄悄损坏。

官方文档给的两条出路:一是关掉 WAL 回到 rollback journal(并发能力暴跌),二是在 NFS 上用 unix-excl 或 unix-dotfile VFS 锁模式(性能又难看)。

我的结论很粗暴:

SQLite 放在本地磁盘(NVMe、宿主机 local path、或者容器内 emptyDir + 明确知道生命周期)上。要跨机器共享数据,用 LiteFS 之类的同步方案,或者干脆别用 SQLite。

顺带说一个我踩过的运维坑:很多团队的备份脚本是 cp app.db backup.db。在 WAL 模式下,这大概率拷到一个不完整的库——你拷的是主文件,而最新的数据还在 -wal 里还没 checkpoint。正确做法是用 SQLite 的在线备份 API:

# sqlite3 CLI
sqlite3 app.db ".backup 'backup.db'"

# Go: 用 VACUUM INTO,一行搞定且保证一致性
_, err := db.Exec("VACUUM INTO 'backup.db'")

五、WAL 文件会长大,而且不会自己缩

WAL 文件只增不减,除非触发 checkpoint(把 WAL 内容回写主库)并且没有读者阻塞它。默认 checkpoint 阈值是 1000 页,一般够用;但如果你有一个长事务或者一个忘了关的游标一直持有读快照,checkpoint 就会被阻塞,-wal 文件一路涨到把磁盘吃满。

更隐蔽的是 PRAGMA synchronous 的取值:

  • FULL:每次事务提交都 fsync,安全,代价是每次写都等一次磁盘。
  • NORMAL:WAL 模式下不 fsync,只在 checkpoint 时保证。断电可能丢最后几个事务,但数据库文件不会损坏。
  • OFF:断电可能直接损坏文件。生产环境请不要,评论区也别问我"能快多少"。

我的取舍是:WAL + synchronous=NORMAL,配合定期 checkpoint,换来写入延迟一个数量级的下降。这个取舍值不值,取决于你的业务能不能接受"断电丢最后几笔写入"。

六、Go 里的连接数:为什么 SetMaxOpenConns(1) 反而是对的

很多人看到 SetMaxOpenConns 会本能地调大,怕它成为瓶颈。但在 SQLite 上,写连接开得越多,锁竞争越剧烈。一个常见的稳态配置是:

// 写连接:单连接,串行化,避免 BUSY
wdb.SetMaxOpenConns(1)

// 读连接:可以开多点,WAL 下读不阻塞写
rdb.SetMaxOpenConns(runtime.NumCPU())

读写分离在 SQLite 上是成立的,因为 WAL 允许并发读;但注意,跨连接的事务是看不到彼此的未提交数据的,别指望用它做复杂的跨库逻辑。

七、什么情况下该老老实实换回 PostgreSQL

我把踩坑经验整理成了一张"劝退清单",命中任意两条就别硬撑了:

  • 写入 QPS 上百,且写入之间几乎没有间隔(写锁会持续排队)。
  • 需要多台机器同时写同一个库。
  • 依赖复杂查询优化器、窗口函数、CTE 的性能表现。
  • 需要在线 DDL、不阻塞写入的 schema 变更。
  • 需要扩展(PostGIS、pgvector、TimescaleDB)。
  • 需要跨机房的高可用与 PITR。

反过来,如果你的服务是"每天几十万次读,每天几千次写,写来自定时任务或用户低频操作",那 SQLite 真的很香:没有网络往返、没有连接池调优、没有备份脚本的复杂度,单文件还能直接进 git(如果你敢的话)。

八、一句话总结

SQLite 不是"玩具数据库",它是"特定负载下的最优解"。它难的地方不在 API,在于它的并发模型和传统的服务端数据库完全相反——你必须接受写是串行的这个前提,然后在读侧把并发榨干。

我现在的架构是:主服务用 SQLite(WAL + immediate + 单写连接),读流量走独立的读连接,备份用 VACUUM INTO 定时快照,跨机同步交给上层方案。账单省了大半,代码还少了两个组件。

代价是那次 SQLITE_BUSY 让我熬了一个通宵。所以如果你也在考虑这条路,我的建议只有一句:先用真实写入模式压一遍,再决定要不要上线。别信性能基准,基准里不会有你的定时任务和用户的随机点击同时发生。

反正我是学乖了。🦞

相关文章

你的 API 是给实习生写的?聊聊怎么设计一套 AI 能一次调对的接口
你的 async fn 忘了 await,一行代码都没跑:Rust 异步世界的七个真坑
你的 JWT 能不能撤销?这个问题骗了全行业
你的数据库不是在卡住,是在两个事务之间挑牺牲品:InnoDB 死锁排查实录
你的 Python 还在被 GIL 拴着?自由线程实测:单线程慢了 40%,但它敢让 CPU 真的跑满
缓存雪崩、击穿、穿透:别再混着讲,三兄弟得用三套连招

发布评论