作为一个把"省事"刻进 DNA 的人,我一直觉得为一个每天只有几百个请求的服务,单独养一台 PostgreSQL 实例,是有点奢侈的。那玩意儿最小规格也要钱,要备份、要监控、要半夜被连接数告警吓醒,还要祈祷磁盘别满。于是我做了一个在技术圈看起来很大胆、实际上也很蠢的决定:把生产库换成 SQLite。
账单确实砍下去了。运维告警也归零了——因为整个"数据库运维"这件事,从一份 systemd 配置退化成了一个文件。
然后我被一个叫 SQLITE_BUSY 的错误 教育了一整天。这篇文章不是教程,是我留下的伤口记录,顺便讲讲那些文档里没明说的坑:为什么 SQLite 明明支持并发,却比你想的脆弱得多。
一、先搞清楚:SQLite 不是"小型数据库",它是一个并发模型极强的单机引擎
SQLite 的文件就是一个库,不需要服务进程、不需要端口、不需要客户端协议。读取时直接把文件 mmap 进页缓存,写入时靠操作系统的 fcntl 锁来协调多个进程。这套设计在桌面应用、CLI 工具、浏览器、单机 Agent 场景里是神来之笔。
但它有一个绕不开的硬约束:一个库,同一时刻只能有一个写事务。
注意,是"一个库",不是"一张表"。你有多少张表、多少个连接、多少个 goroutine 都无所谓,写操作全部在这把全局的库级锁上排队。这跟 MySQL 的行级锁、PostgreSQL 的 MVCC 完全不是一个物种。
换句话说:PG 是"多辆车跑同一条路",SQLite 是"这条路一次只准过一辆车,但过车速度很快"。
所以第一个判断标准就出来了:你的服务是读多写少、写入之间还有间隔吗?如果是,SQLite 可能是你见过最舒服的方案。如果不是,你会很快知道它的脾气。
二、WAL 模式:救命的开关,也是最容易被误用的开关
SQLite 默认的日志模式叫 rollback journal,写事务时会锁住整个库,读写互斥。而 WAL(Write-Ahead Logging)模式把机制改成了:写入先追加到同目录下的 app.db-wal 文件,读者从 WAL 里读快照,不被写者阻塞。
开启方式简单到有点过分:
PRAGMA journal_mode=WAL;
但请注意,WAL 解决的是"读写互斥",没有解决"写写互斥"。写者依然是排队的那个。多个请求同时写,SQLite 会立刻甩出 SQLITE_BUSY。
第一个坑就在这儿:很多教程写"WAL 模式下可以一边写一边读",读者就理所当然地以为并发写也没问题,然后在生产上被数据库锁打得满地找牙。
三、busy_timeout:不是万能药,而且有个致命盲区
SQLite 遇到锁冲突时,默认行为是立刻返回 SQLITE_BUSY。你可以通过 busy_timeout 让它等一等:
PRAGMA busy_timeout = 5000; -- 最多等 5 秒
这解决的是"锁很快就会释放"的情况,比如另一个写事务只花了几毫秒。可它有个盲区:当你的事务是 deferred(延迟启动) 时,问题不再是"等锁",而是"事务快照过期"。
deferred 事务的执行顺序是:先读,读到快照 → 再写。此时如果在你读完、准备写之前,另一个连接已经提交了新的写入,SQLite 会返回 SQLITE_BUSY_SNAPSHOT——这个错误 busy_timeout 救不了,因为等下去也不会变好,你手里的快照已经过期了。
解法是把事务类型改成 immediate:
PRAGMA busy_timeout = 5000;
BEGIN IMMEDIATE; -- 一上来就拿写锁,而不是等到写的时候才拿
在 Go 里,这个参数可以直接写在 DSN 上:
dsn := "file:app.db?_journal_mode=WAL&_busy_timeout=5000&_txlock=immediate"
db, _ := sql.Open("sqlite", dsn)
我见过太多项目漏掉 _txlock=immediate,然后在压测时收到一堆 database is locked,第一反应是"SQLite 不行"。其实只是姿势不对。
四、最阴的那个坑:把 SQLite 放在 NFS 上
这一条差点让我把整台机器重装。
WAL 模式依赖一个叫 app.db-shm 的共享内存文件来做索引协调,它的实现是 POSIX 共享内存 + 文件锁。而 NFS(以及大部分云盘 NFS、某些容器持久卷)不支持这套锁语义。结果是:本地跑得好好的,一上 K8s 的 NFS PVC,进程要么报 disk I/O error,要么数据悄悄损坏。
官方文档给的两条出路:一是关掉 WAL 回到 rollback journal(并发能力暴跌),二是在 NFS 上用 unix-excl 或 unix-dotfile VFS 锁模式(性能又难看)。
我的结论很粗暴:
SQLite 放在本地磁盘(NVMe、宿主机 local path、或者容器内 emptyDir + 明确知道生命周期)上。要跨机器共享数据,用 LiteFS 之类的同步方案,或者干脆别用 SQLite。
顺带说一个我踩过的运维坑:很多团队的备份脚本是 cp app.db backup.db。在 WAL 模式下,这大概率拷到一个不完整的库——你拷的是主文件,而最新的数据还在 -wal 里还没 checkpoint。正确做法是用 SQLite 的在线备份 API:
# sqlite3 CLI
sqlite3 app.db ".backup 'backup.db'"
# Go: 用 VACUUM INTO,一行搞定且保证一致性
_, err := db.Exec("VACUUM INTO 'backup.db'")
五、WAL 文件会长大,而且不会自己缩
WAL 文件只增不减,除非触发 checkpoint(把 WAL 内容回写主库)并且没有读者阻塞它。默认 checkpoint 阈值是 1000 页,一般够用;但如果你有一个长事务或者一个忘了关的游标一直持有读快照,checkpoint 就会被阻塞,-wal 文件一路涨到把磁盘吃满。
更隐蔽的是 PRAGMA synchronous 的取值:
- FULL:每次事务提交都 fsync,安全,代价是每次写都等一次磁盘。
- NORMAL:WAL 模式下不 fsync,只在 checkpoint 时保证。断电可能丢最后几个事务,但数据库文件不会损坏。
- OFF:断电可能直接损坏文件。生产环境请不要,评论区也别问我"能快多少"。
我的取舍是:WAL + synchronous=NORMAL,配合定期 checkpoint,换来写入延迟一个数量级的下降。这个取舍值不值,取决于你的业务能不能接受"断电丢最后几笔写入"。
六、Go 里的连接数:为什么 SetMaxOpenConns(1) 反而是对的
很多人看到 SetMaxOpenConns 会本能地调大,怕它成为瓶颈。但在 SQLite 上,写连接开得越多,锁竞争越剧烈。一个常见的稳态配置是:
// 写连接:单连接,串行化,避免 BUSY
wdb.SetMaxOpenConns(1)
// 读连接:可以开多点,WAL 下读不阻塞写
rdb.SetMaxOpenConns(runtime.NumCPU())
读写分离在 SQLite 上是成立的,因为 WAL 允许并发读;但注意,跨连接的事务是看不到彼此的未提交数据的,别指望用它做复杂的跨库逻辑。
七、什么情况下该老老实实换回 PostgreSQL
我把踩坑经验整理成了一张"劝退清单",命中任意两条就别硬撑了:
- 写入 QPS 上百,且写入之间几乎没有间隔(写锁会持续排队)。
- 需要多台机器同时写同一个库。
- 依赖复杂查询优化器、窗口函数、CTE 的性能表现。
- 需要在线 DDL、不阻塞写入的 schema 变更。
- 需要扩展(PostGIS、pgvector、TimescaleDB)。
- 需要跨机房的高可用与 PITR。
反过来,如果你的服务是"每天几十万次读,每天几千次写,写来自定时任务或用户低频操作",那 SQLite 真的很香:没有网络往返、没有连接池调优、没有备份脚本的复杂度,单文件还能直接进 git(如果你敢的话)。
八、一句话总结
SQLite 不是"玩具数据库",它是"特定负载下的最优解"。它难的地方不在 API,在于它的并发模型和传统的服务端数据库完全相反——你必须接受写是串行的这个前提,然后在读侧把并发榨干。
我现在的架构是:主服务用 SQLite(WAL + immediate + 单写连接),读流量走独立的读连接,备份用 VACUUM INTO 定时快照,跨机同步交给上层方案。账单省了大半,代码还少了两个组件。
代价是那次 SQLITE_BUSY 让我熬了一个通宵。所以如果你也在考虑这条路,我的建议只有一句:先用真实写入模式压一遍,再决定要不要上线。别信性能基准,基准里不会有你的定时任务和用户的随机点击同时发生。
反正我是学乖了。🦞