<?xml version="1.0" encoding="utf-8" standalone="yes"?>
<rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom">
	<channel>
		<title>Sharding on Bill.Lin&#39;s Notes</title>
		<link>https://xinqilin.github.io/tags/sharding/</link>
		<description>Recent content in Sharding on Bill.Lin&#39;s Notes</description>
		<generator>Hugo</generator>
		<language>zh-tw</language>
		
		
		
		
			<lastBuildDate>Sun, 22 Nov 2026 00:00:00 +0800</lastBuildDate>
		
			<atom:link href="https://xinqilin.github.io/tags/sharding/index.xml" rel="self" type="application/rss+xml" />
			<item>
				<title>Sharding：shard key 怎麼選、重新分片怎麼搬，以及跨分片之後失去的東西</title>
				<link>https://xinqilin.github.io/post/systemdesign/sharding/</link>
				<pubDate>Sun, 22 Nov 2026 00:00:00 +0800</pubDate>
				<guid>https://xinqilin.github.io/post/systemdesign/sharding/</guid>
				<description>&lt;blockquote&gt;&#xA;&lt;p&gt;&lt;strong&gt;System Design 系列&lt;/strong&gt; Part 4-2｜上一篇：&lt;a href=&#34;https://xinqilin.github.io/post/systemdesign/replication-lag/&#34;&gt;Replication 與 Replication Lag&lt;/a&gt;｜下一篇：&lt;a href=&#34;https://xinqilin.github.io/post/systemdesign/consistent-hashing/&#34;&gt;Consistent Hashing&lt;/a&gt;｜&lt;a href=&#34;https://xinqilin.github.io/post/systemdesign/system-design-thinking/#%E7%B3%BB%E5%88%97%E5%9C%B0%E5%9C%96&#34;&gt;系列地圖&lt;/a&gt;&lt;/p&gt;&#xA;&lt;/blockquote&gt;&#xA;&lt;h2 id=&#34;情境與問題&#34;&gt;情境與問題&lt;/h2&gt;&#xA;&lt;p&gt;講座平台營運三年後，報名相關的資料累積到 30 億筆、12 TB。熱門講座開放報名的瞬間，寫入尖峰每秒 2 萬次。&lt;a href=&#34;https://xinqilin.github.io/post/systemdesign/replication-lag/&#34;&gt;上一篇&lt;/a&gt;的 read replica 幫不上忙：每台 replica 都要套用全部的寫入，寫入量和 primary 一樣多。&lt;/p&gt;&#xA;&lt;p&gt;單台 primary 的極限同時出現在三個地方：&lt;/p&gt;&#xA;&lt;ul&gt;&#xA;&lt;li&gt;&lt;strong&gt;寫入量&lt;/strong&gt;：所有寫入都在同一台機器上排隊&lt;/li&gt;&#xA;&lt;li&gt;&lt;strong&gt;資料量&lt;/strong&gt;：12 TB 的備份以每秒 500 MB 還原，要將近 7 小時&lt;/li&gt;&#xA;&lt;li&gt;&lt;strong&gt;記憶體&lt;/strong&gt;：常用的索引已經放不進 buffer pool，查詢開始大量讀磁碟&lt;/li&gt;&#xA;&lt;/ul&gt;&#xA;&lt;h2 id=&#34;最簡單的做法與它的極限&#34;&gt;最簡單的做法與它的極限&lt;/h2&gt;&#xA;&lt;p&gt;分片之前，先確認這些更簡單的做法都試過了：&lt;/p&gt;&#xA;&lt;ol&gt;&#xA;&lt;li&gt;&lt;strong&gt;垂直擴展&lt;/strong&gt;：換更大的機器（&lt;a href=&#34;https://xinqilin.github.io/post/systemdesign/scaling-stateless/&#34;&gt;Part 2&lt;/a&gt;）&lt;/li&gt;&#xA;&lt;li&gt;&lt;strong&gt;歸檔冷資料&lt;/strong&gt;：三年前的報名紀錄搬到便宜的儲存，主資料庫只留近期資料&lt;/li&gt;&#xA;&lt;li&gt;&lt;strong&gt;分割表&lt;/strong&gt;（partitioning）：同一台資料庫內，依月份把表切成多個分割區。查詢只掃描相關的分割區，過期資料用 &lt;code&gt;DROP PARTITION&lt;/code&gt; 瞬間刪除。MySQL 要求每個唯一索引（包括主鍵）都包含分割欄位，這和分片的唯一約束是同一個限制。但它還是一台機器，寫入量的上限沒有改變&lt;/li&gt;&#xA;&lt;li&gt;&lt;strong&gt;功能拆分&lt;/strong&gt;：報名、觀看紀錄、站內訊息分到不同的資料庫，每個資料庫只承擔一部分寫入&lt;/li&gt;&#xA;&lt;/ol&gt;&#xA;&lt;p&gt;這些都撐不住時，才把同一張表的資料分散到多台資料庫，也就是&lt;strong&gt;分片&lt;/strong&gt;（sharding）。它的代價是：跨分片的交易、跨分片的查詢、跨分片的唯一約束、重新分片，以及 N 倍的維運工作。&lt;/p&gt;&#xA;&lt;h2 id=&#34;核心機制&#34;&gt;核心機制&lt;/h2&gt;&#xA;&lt;h3 id=&#34;選-shard-key&#34;&gt;選 shard key&lt;/h3&gt;&#xA;&lt;p&gt;shard key 決定每一筆資料放在哪個分片，選錯了幾乎不可能改。依重要性排序：&lt;/p&gt;&#xA;&lt;ol&gt;&#xA;&lt;li&gt;&lt;strong&gt;交易邊界&lt;/strong&gt;：一個交易要修改的資料，必須落在同一個分片&lt;/li&gt;&#xA;&lt;li&gt;&lt;strong&gt;查詢模式&lt;/strong&gt;：最常見的查詢要帶著 shard key，才能只查一個分片&lt;/li&gt;&#xA;&lt;li&gt;&lt;strong&gt;分布&lt;/strong&gt;：資料與流量要平均，不能有少數分片特別忙&lt;/li&gt;&#xA;&lt;li&gt;&lt;strong&gt;成長&lt;/strong&gt;：新資料不能永遠寫到同一個分片&lt;/li&gt;&#xA;&lt;/ol&gt;&#xA;&lt;h3 id=&#34;分片方式&#34;&gt;分片方式&lt;/h3&gt;&#xA;&lt;table&gt;&#xA;&#x9;&lt;thead&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;方式&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;做法&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;優點&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;缺點&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/thead&gt;&#xA;&#x9;&lt;tbody&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;Range&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;依 key 的範圍，例如會員編號 1 到 100 萬放第一台&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;範圍查詢只查少數分片&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;遞增的 key 讓新資料全部寫到最後一台&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;Hash&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;hash(key) % N&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;分布平均&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;範圍查詢要查所有分片；N 改變時幾乎所有資料都要搬&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;查表（directory）&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;另外存一張「key 在哪個分片」的對照表&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;每一筆都能個別搬移&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;對照表本身要高可用，而且每次查詢多一次查表&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;邏輯分片&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;先雜湊到固定數量的 slot（例如 1024 個），再查表找到實體分片&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;搬移以 slot 為單位，對照表很小&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;slot 數量決定了未來擴充的上限&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/tbody&gt;&#xA;&lt;/table&gt;&#xA;&lt;h3 id=&#34;實測分布重新分片與跨分片查詢&#34;&gt;實測：分布、重新分片與跨分片查詢&lt;/h3&gt;&#xA;&lt;p&gt;16 個分片、200 萬筆報名，橫跨 16 個月。講座的熱門程度與會員的活躍程度都是長尾分布：少數熱門講座占了大量報名。&lt;/p&gt;</description>
			</item>
	</channel>
</rss>
