Kafka on Bill.Lin's Notes

Outbox Pattern — 分散式事務一致性

Mon, 15 Jan 2024 00:00:00 +0800

問題：Dual-Write

在微服務中，一個業務操作往往需要：

寫入資料庫（持久化訂單）
發布事件到 Kafka（通知下游服務）

這兩個動作無法包在同一個 ACID transaction 裡（資料庫 + Kafka 是兩個不同的資源管理器）：

// 危險的 Dual-Write：兩個操作不是原子的
@Transactional
public void createOrder(CreateOrderCommand cmd) {
    Order order = orderRepository.save(new Order(cmd));  // DB 寫入成功
    kafkaTemplate.send("order.created", new OrderCreatedEvent(order)); // 若此處失敗？
    // DB 已提交，但 Kafka 事件未送出 → 下游永遠不知道這筆訂單
}

可能的失敗情境

情境 A：DB 成功，Kafka 失敗
  → 訂單存在，但下游沒收到事件，資料不一致

情境 B：Kafka 成功，DB 回滾
  → 下游已處理不存在的訂單

情境 C：應用程序在兩個操作中間 crash
  → 同情境 A 或 B

Outbox Pattern 解法

核心思想：把事件記錄寫入與業務資料同一個 DB transaction，讓 DB 的 ACID 保證兩者的原子性。再由獨立的 Publisher 非同步地將事件發布到 Kafka。