<?xml version="1.0" encoding="utf-8" standalone="yes"?>
<rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom">
	<channel>
		<title>Pub/Sub on Bill.Lin&#39;s Notes</title>
		<link>https://xinqilin.github.io/tags/pub/sub/</link>
		<description>Recent content in Pub/Sub on Bill.Lin&#39;s Notes</description>
		<generator>Hugo</generator>
		<language>zh-tw</language>
		
		
		
		
			<lastBuildDate>Sun, 22 Nov 2026 00:00:00 +0800</lastBuildDate>
		
			<atom:link href="https://xinqilin.github.io/tags/pub/sub/index.xml" rel="self" type="application/rss+xml" />
			<item>
				<title>Pub/Sub 與投遞語意：Kafka 的分區、消費群組，以及 exactly-once 到底保證了什麼</title>
				<link>https://xinqilin.github.io/post/systemdesign/pubsub-delivery-semantics/</link>
				<pubDate>Sun, 22 Nov 2026 00:00:00 +0800</pubDate>
				<guid>https://xinqilin.github.io/post/systemdesign/pubsub-delivery-semantics/</guid>
				<description>&lt;blockquote&gt;&#xA;&lt;p&gt;&lt;strong&gt;System Design 系列&lt;/strong&gt; Part 5-3｜上一篇：&lt;a href=&#34;https://xinqilin.github.io/post/systemdesign/message-queue/&#34;&gt;Message Queue&lt;/a&gt;｜下一篇：&lt;a href=&#34;https://xinqilin.github.io/post/systemdesign/idempotency-key/&#34;&gt;冪等性與 Idempotency Key&lt;/a&gt;｜&lt;a href=&#34;https://xinqilin.github.io/post/systemdesign/system-design-thinking/#%E7%B3%BB%E5%88%97%E5%9C%B0%E5%9C%96&#34;&gt;系列地圖&lt;/a&gt;&lt;/p&gt;&#xA;&lt;/blockquote&gt;&#xA;&lt;h2 id=&#34;情境與問題&#34;&gt;情境與問題&lt;/h2&gt;&#xA;&lt;p&gt;&lt;a href=&#34;https://xinqilin.github.io/post/systemdesign/message-queue/&#34;&gt;上一篇&lt;/a&gt;的佇列只有一種消費者：寄確認信。但「有人報名了」這件事，關心的服務越來越多：&lt;/p&gt;&#xA;&lt;ul&gt;&#xA;&lt;li&gt;郵件服務寄確認信&lt;/li&gt;&#xA;&lt;li&gt;講者後台更新報名人數&lt;/li&gt;&#xA;&lt;li&gt;推薦系統記錄使用者的興趣&lt;/li&gt;&#xA;&lt;li&gt;資料倉儲做每日報表&lt;/li&gt;&#xA;&lt;li&gt;稽核系統保存所有報名異動&lt;/li&gt;&#xA;&lt;/ul&gt;&#xA;&lt;p&gt;而且新的需求不斷出現：推薦團隊上線新的模型，希望&lt;strong&gt;拿過去三個月的報名紀錄重新訓練&lt;/strong&gt;。&lt;/p&gt;&#xA;&lt;p&gt;報名服務不該知道有哪些消費者，也不該為每個新消費者改程式。它只要宣告「發生了這件事」，誰有興趣誰就訂閱。這就是 publish/subscribe。&lt;/p&gt;&#xA;&lt;h2 id=&#34;最簡單的做法與它的極限&#34;&gt;最簡單的做法與它的極限&lt;/h2&gt;&#xA;&lt;ul&gt;&#xA;&lt;li&gt;&lt;strong&gt;報名服務逐一呼叫每個服務&lt;/strong&gt;：每多一個消費者就要改報名服務；任何一個消費者故障都會影響報名&lt;/li&gt;&#xA;&lt;li&gt;&lt;strong&gt;為每個消費者各送一則訊息到各自的佇列&lt;/strong&gt;：報名服務仍然要知道有哪些消費者&lt;/li&gt;&#xA;&lt;li&gt;&lt;strong&gt;RabbitMQ 的 fanout exchange&lt;/strong&gt;：報名服務只送到一個 exchange，每個消費者綁定自己的佇列，broker 負責複製。這解決了解耦，但訊息被消費之後就刪除了，&lt;strong&gt;新的消費者看不到過去的訊息&lt;/strong&gt;，推薦團隊想要的三個月歷史無從取得&lt;/li&gt;&#xA;&lt;/ul&gt;&#xA;&lt;h2 id=&#34;核心機制&#34;&gt;核心機制&lt;/h2&gt;&#xA;&lt;h3 id=&#34;兩種-pubsub-模型&#34;&gt;兩種 Pub/Sub 模型&lt;/h3&gt;&#xA;&lt;pre class=&#34;mermaid&#34;&gt;flowchart LR&#xA;    subgraph R[&#34;RabbitMQ：每個訂閱者一份副本&#34;]&#xA;        P1[報名服務] --&gt; X[fanout exchange]&#xA;        X --&gt; Q1[郵件佇列] --&gt; C1[郵件服務]&#xA;        X --&gt; Q2[講者佇列] --&gt; C2[講者後台]&#xA;    end&#xA;    subgraph K[&#34;Kafka：所有訂閱者讀同一份 log&#34;]&#xA;        P2[報名服務] --&gt; T[(registration-events&lt;br/&gt;保留 90 天)]&#xA;        T --&gt;|各自記錄讀到哪裡| G1[郵件服務]&#xA;        T --&gt; G2[講者後台]&#xA;        T --&gt; G3[推薦系統：從頭讀起]&#xA;    end&#xA;&lt;/pre&gt;&#xA;&#xA;&lt;table&gt;&#xA;&#x9;&lt;thead&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;RabbitMQ exchange&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;Kafka topic&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/thead&gt;&#xA;&#x9;&lt;tbody&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;訊息的生命&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;每個佇列各一份，消費確認後刪除&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;一份 log，依保留期限或大小刪除，和有沒有人讀無關&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;讀取位置&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;Broker 追蹤每則訊息的狀態&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;消費者自己記錄讀到哪個 offset&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;新的訂閱者&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;只看得到之後的訊息&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;可以從保留期限內的任何位置開始讀&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;重播&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;不行&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;把 offset 移回去就能重新處理&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;單則訊息的處理&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;個別確認、個別重送&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;消費群組依 offset 順序前進，一則卡住會擋住後面的（share group 例外，見下文）&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;路由&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;exchange 與 routing key，很彈性&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;依 topic 與分區，較單純&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/tbody&gt;&#xA;&lt;/table&gt;&#xA;&lt;p&gt;Kafka 把訊息當成&lt;strong&gt;事件的歷史紀錄&lt;/strong&gt;，而不是待辦工作。這讓它適合多個訂閱者、需要重播的場景，代價是失去了彈性路由，傳統的消費群組也沒有逐則確認。&lt;/p&gt;</description>
			</item>
	</channel>
</rss>
