分散式 ID:UUIDv7、Snowflake 與號段模式,主鍵的排序、大小與洩漏的資訊
System Design 系列 Part 4-4|上一篇:Consistent Hashing|下一篇:CAP 與 PACELC|系列地圖
情境與問題
Sharding 篇把報名資料分到 16 個分片之後,每個分片各自的 AUTO_INCREMENT 都從 1 開始,不同分片出現了相同的報名編號。新的 ID 方案要滿足:
- 全域唯一:任何分片、任何機器產生的 ID 都不能重複
- 大致遞增:新資料插在 B+Tree 的右邊,維持寫入效能(Index 篇)
- 不依賴單點:產生 ID 不能讓某一台機器成為瓶頸或單點故障,尖峰每秒 2 萬筆
- 夠小:主鍵會複製到每一個二級索引裡,越小越好;如果要給前端使用,最好不要超過 JavaScript 能精確表示的整數範圍
- 不洩漏資訊:對外公開的 ID 不能讓人推算出業務量
這五點沒有一個方案能全部滿足,這篇的重點是取捨。
最簡單的做法與它的極限
- 單一資料庫發號:所有分片都向同一個資料庫的
AUTO_INCREMENT要 ID,等於把單點又加了回來,每次寫入還要多一次網路往返 - 每個分片不同的起點與步長:MySQL 的
auto_increment_increment = 16、auto_increment_offset = 1..16,第一個分片產生 1、17、33…,第二個產生 2、18、34…。簡單有效,但分片數量寫死在設定裡,重新分片時步長也要跟著改 - UUIDv4:每台機器自己產生,不需要任何協調,但完全隨機。下面的實測說明它對索引的影響
核心機制
隨機與時間有序:實測主鍵的插入
用簡化的 InnoDB 葉節點層模擬插入 200 萬筆:頁面 16 KB、填到 15/16 就分裂、每列除了主鍵還有 150 bytes 的資料、buffer pool 只放得下 3,000 頁(約 47 MB)。分裂規則仿照 InnoDB:新的一筆緊接在上次插入的那一筆之後時,從插入點分裂(舊頁保持全滿),否則對半分裂。UUIDv7 用 Hibernate 7.4 的實作產生:
模擬程式(IdIndexSimulation.java)
| |
| |
- buffer pool miss 是最大的差距:UUIDv4 插入的位置是隨機的,索引大過 buffer pool 之後,每 1,000 筆插入有 673 次要從磁碟讀進一個頁面。以每秒 4,000 筆寫入計算,光是葉節點就要每秒 2,700 次隨機讀取。時間有序的 ID 永遠插在最右邊,最右邊的頁面一直在記憶體裡,miss 是 0
- UUIDv4 的填充率 69%,和隨機插入 B-Tree 的理論值 ln 2 ≈ 69% 相符,同樣的資料要多用約 45% 的頁面
- 嚴格遞增的
AUTO_INCREMENT填滿每一頁 - 多台交錯產生的 Snowflake 與 UUIDv7 只填到 57% 到 62%:4 台機器的 ID 交錯到達,新的一筆常常不是緊接在上一筆之後,於是對半分裂,左半頁之後再也不會有新資料插進去。這是簡化模型的結果,實際的填充率取決於資料庫的分裂策略(InnoDB 還有往左插入的判斷),但「大致遞增」不等於「嚴格遞增」這件事要記得。對寫入效能影響最大的 buffer pool miss,它們和
AUTO_INCREMENT一樣是 0 - 主鍵大小:InnoDB 的每一個二級索引都存著主鍵。16 bytes 的 UUID 比 8 bytes 的
BIGINT每個索引項多 8 bytes,有 5 個二級索引、30 億筆資料,就多了約 120 GB
Snowflake
64 bits 的整數,由三段組成:
| 位元 | 內容 | 範圍 |
|---|---|---|
| 1 | 符號位,固定為 0 | |
| 41 | 自訂起點以來的毫秒數 | 2^41 毫秒約 69.7 年 |
| 10 | 機器編號 | 1,024 台 |
| 12 | 同一毫秒內的序號 | 每台每毫秒 4,096 個 |
優點是 64 bits、時間有序、每台機器自己產生。代價是兩個要自己管理的東西:
- 機器編號:兩台機器拿到相同的編號,就會產生相同的 ID。在 Kubernetes 上,Pod 隨時會被重建,編號要從 StatefulSet 的序號、或資料庫與 ZooKeeper 的租約取得
- 時鐘回撥:NTP 校正讓系統時間倒退時,新的時間戳可能和之前的重複。要偵測回撥,小幅回撥時等待,大幅回撥時拒絕發號
這兩點的完整實作在 Snowflake 演算法與企業級實現。
UUIDv7 與 ULID
RFC 9562(2024 年)定義的 UUIDv7 是 128 bits:前 48 bits 是 Unix 毫秒時間戳,其餘大部分是隨機數。Hibernate 7.4 的實作在時間戳之後放了 12 bits 的次毫秒時間與 62 bits 的隨機數,同一台機器產生的 ID 嚴格遞增。
它和 Snowflake 一樣時間有序,但不需要機器編號:隨機數的部分夠大,不同機器在同一毫秒內產生相同 ID 的機率可以忽略。代價是 128 bits,比 Snowflake 大一倍。PostgreSQL 18 起內建 uuidv7()。ULID 是相同概念的另一種格式(48 bits 時間 + 80 bits 隨機數,26 個字元的 base32 字串),在 UUIDv7 標準化之前就被廣泛使用。
號段模式
資料庫只負責「發號段」:每台應用伺服器一次向資料庫取 1,000 個 ID,在記憶體裡一個一個發,用完再取下一段。
- 資料庫每 1,000 個 ID 才被存取一次,負載很低
- 資料庫短暫故障時,手上剩下的號段還能撐一段時間。常見的優化是剩下 10% 時就在背景預先取下一段(雙緩衝)
- 產生的是 64 bits 的整數,每台機器內遞增,全域大致遞增
- 機器重啟時,沒發完的號段就浪費了,ID 會有缺口
方案比較
| 大小 | 排序 | 需要協調 | 依賴 | 洩漏的資訊 | |
|---|---|---|---|---|---|
單一資料庫 AUTO_INCREMENT | 8 B | 嚴格遞增 | 每個 ID 都要 | 單一資料庫 | 總數與成長速度 |
| 分片起點與步長 | 8 B | 各分片內遞增 | 否 | 分片數量寫死 | 總數與成長速度 |
| UUIDv4 | 16 B | 隨機 | 否 | 無 | 無 |
| UUIDv7 | 16 B | 大致遞增 | 否 | 時鐘 | 建立時間 |
| Snowflake | 8 B | 大致遞增 | 分配機器編號 | 時鐘、機器編號 | 建立時間、機器、每毫秒的量 |
| 號段模式 | 8 B | 大致遞增 | 每個號段一次 | 資料庫(有緩衝) | 總數與成長速度 |
選擇的方向:
- 不想管任何基礎設施:UUIDv7,用 16 bytes 換掉機器編號與發號服務
- 需要 64 bits(例如 ID 要放進既有的
BIGINT欄位、或二級索引很多):Snowflake 或號段模式。已經有可靠的資料庫時,號段模式最簡單;不想讓發號依賴資料庫時,用 Snowflake - ID 會公開:不管內部用哪一種,對外都另外給一個隨機的 ID(見資安相關)
Java 落地
1. JPA 主鍵用 UUIDv7
Hibernate 7 的 @UuidGenerator 可以直接指定 version 7。MySQL 沒有原生的 UUID 型別,存成 BINARY(16),不要用 CHAR(36):字串形式至少 36 bytes,而且二級索引裡的每一項都要帶著它。
| |
2. 號段模式
| |
對應的資料表只有一列:
| |
3 台應用伺服器共用同一個 H2 資料庫,各用 4 個執行緒同時取號:
驗證程式(SegmentDemo.java)
| |
| |
- 12 萬個 ID 全部不重複,資料庫只被存取 120 次
- 每台在自己的號段內遞增,但三台交錯發號,全域的順序只是大致遞增。依發出的先後看,有 2.7% 的 ID 比前一個小
- 三台各自拿到不同的號段(1、1001、2001 開頭),這是
UPDATE的列鎖讓取號依序進行的結果
3. Snowflake
機器編號的分配與時鐘回撥的處理,見 Snowflake 演算法與企業級實現。
踩坑與 Gotchas
- 64 bits 的 ID 傳給 JavaScript:JavaScript 的
Number只能精確表示到 2^53(約 9 × 10^15)。下面的 Snowflake ID912145357725569027轉成Number後變成912145357725569024,畫面上顯示為912145357725569000,用它查詢就找不到資料。JSON 裡的 64 bits ID 一律用字串 - 時鐘回撥:Snowflake 與 UUIDv7 都依賴系統時間。Hibernate 的 UUIDv7 在同一個 JVM 內保證遞增,但不同機器之間的時鐘誤差,會讓 ID 的順序和實際的發生順序不一致。不要用 ID 的大小判斷事件的先後
- 機器編號重複:兩個 Pod 拿到相同的 Snowflake 機器編號,就會產生重複的 ID。重複時,後寫入的資料可能覆蓋前一筆,或被主鍵擋下而失敗
- UUID 存成
CHAR(36):比BINARY(16)大一倍以上。MySQL 用UUID_TO_BIN()轉換;它的 swap flag 是為 UUIDv1 調整位元順序用的,UUIDv7 本來就是時間在前,不要再交換 - 號段模式的 ID 有缺口:重啟、擴容都會跳號。發票號碼這類法規要求連續的編號,要另外用資料庫的序號產生
- 分片起點與步長寫死:從 16 個分片擴充到 32 個時,所有分片的步長都要改,而且新舊 ID 不能衝突
資安相關
ID 不是授權:知道一筆報名的 ID,不代表有權限看它。可預測的 ID 讓攻擊者可以逐一嘗試,但就算 ID 不可預測,授權檢查也不能省略(Part 8 的 BOLA)
ID 會洩漏資訊:攻擊者只拿到自己訂單的 ID,能推算出什麼:
示範程式(
IdLeakDemo.java)1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32package idgen; import java.time.Instant; import java.time.ZoneId; import java.util.UUID; import org.hibernate.id.uuid.UuidVersion7Strategy; /** 攻擊者只拿到自己訂單的 ID,能推算出什麼。 */ public class IdLeakDemo { static final long SNOWFLAKE_EPOCH = Instant.parse("2020-01-01T00:00:00Z").toEpochMilli(); static final ZoneId TAIPEI = ZoneId.of("Asia/Taipei"); public static void main(String[] args) { long yesterday = 1_203_551; long today = 1_215_907; System.out.printf("AUTO_INCREMENT:昨天 10:00 的訂單 #%d、今天 10:00 的訂單 #%d → 一天約 %,d 筆訂單%n", yesterday, today, today - yesterday); long issuedAt = Instant.parse("2026-11-22T01:00:00.123Z").toEpochMilli() - SNOWFLAKE_EPOCH; long snowflake = (issuedAt << 22) | (17L << 12) | 3; // 41 bits 時間、10 bits 機器、12 bits 序號;攻擊者只看得到這個數字 long millis = (snowflake >>> 22) + SNOWFLAKE_EPOCH; System.out.printf("Snowflake %d → 建立於 %s、機器編號 %d、該毫秒內第 %d 個%n", snowflake, Instant.ofEpochMilli(millis).atZone(TAIPEI).toLocalDateTime(), (snowflake >>> 12) & 0x3FF, snowflake & 0xFFF); UUID v7 = UuidVersion7Strategy.INSTANCE.generateUuid(null); System.out.printf("UUIDv7 %s → 建立於 %s%n", v7, Instant.ofEpochMilli(v7.getMostSignificantBits() >>> 16).atZone(TAIPEI).toLocalDateTime()); System.out.printf("UUIDv4 %s → 122 bits 隨機,沒有可推算的資訊%n", UUID.randomUUID()); } }1 2 3 4AUTO_INCREMENT:昨天 10:00 的訂單 #1203551、今天 10:00 的訂單 #1215907 → 一天約 12,356 筆訂單 Snowflake 912145357725569027 → 建立於 2026-11-22T09:00:00.123、機器編號 17、該毫秒內第 3 個 UUIDv7 01a20398-59fb-7220-a7b7-124383ab79db → 建立於 2026-11-22T22:10:45.883 UUIDv4 b79a18d2-0a3d-4507-bd15-54a1f17fa16a → 122 bits 隨機,沒有可推算的資訊連續的
AUTO_INCREMENT讓競爭對手每天下一張訂單,就能算出平台每天的訂單量;Snowflake 洩漏建立時間、機器數量與每毫秒的量;UUIDv7 洩漏建立的毫秒數,PostgreSQL 的uuid_extract_timestamp()一行就能取出。對「匿名檢舉」這類資料,建立時間本身就是敏感資訊內部 ID 與公開 ID 分開:資料表用時間有序的 ID 當主鍵,另外加一個 UUIDv4 欄位(加唯一索引)給 URL 與 API 使用。對外只出現 UUIDv4,內部的效能與外部的不可預測性兩者都顧到
UUIDv7 不能當秘密:密碼重設、邀請連結這類「知道就能用」的 token,要用
SecureRandom產生至少 128 bits 的隨機值。UUIDv7 的時間部分可以預測,Hibernate 的實作只有 62 bits 是隨機的
何時用/何時別用
- UUIDv7:新系統的預設選擇,不需要額外的基礎設施
- Snowflake:需要 64 bits、寫入量大、不希望發號依賴資料庫
- 號段模式:已經有可靠的資料庫,需要 64 bits,想要最簡單的實作
- UUIDv4:對外公開的 ID、不需要排序的資料
- 別用 ID 做:授權、事件排序、計數、需要連續編號的業務號碼
參考資料
- RFC 9562, “Universally Unique IDentifiers (UUIDs)”, 2024:https://www.rfc-editor.org/rfc/rfc9562
- Twitter Snowflake(已封存):https://github.com/twitter-archive/snowflake
- ULID Specification:https://github.com/ulid/spec
- 美團 Leaf:https://github.com/Meituan-Dianping/Leaf
- Andrew Chi-Chih Yao, “On Random 2–3 Trees”, Acta Informatica, 1978
- MySQL 8.4 Reference Manual —
UUID_TO_BIN():https://dev.mysql.com/doc/refman/8.4/en/miscellaneous-functions.html - PostgreSQL Documentation — UUID Functions:https://www.postgresql.org/docs/current/functions-uuid.html
- 互動圖解延伸:Dilum Sanjaya,System Design — an interactive course:https://designed-to-scale.vercel.app/
留言討論