<?xml version="1.0" encoding="utf-8" standalone="yes"?>
<rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom">
	<channel>
		<title>Partitioning on Bill.Lin&#39;s Notes</title>
		<link>https://xinqilin.github.io/tags/partitioning/</link>
		<description>Recent content in Partitioning on Bill.Lin&#39;s Notes</description>
		<generator>Hugo</generator>
		<language>zh-tw</language>
		
		
		
		
			<lastBuildDate>Sun, 22 Nov 2026 00:00:00 +0800</lastBuildDate>
		
			<atom:link href="https://xinqilin.github.io/tags/partitioning/index.xml" rel="self" type="application/rss+xml" />
			<item>
				<title>Sharding：shard key 怎麼選、重新分片怎麼搬，以及跨分片之後失去的東西</title>
				<link>https://xinqilin.github.io/post/systemdesign/sharding/</link>
				<pubDate>Sun, 22 Nov 2026 00:00:00 +0800</pubDate>
				<guid>https://xinqilin.github.io/post/systemdesign/sharding/</guid>
				<description>&lt;blockquote&gt;&#xA;&lt;p&gt;&lt;strong&gt;System Design 系列&lt;/strong&gt; Part 4-2｜上一篇：&lt;a href=&#34;https://xinqilin.github.io/post/systemdesign/replication-lag/&#34;&gt;Replication 與 Replication Lag&lt;/a&gt;｜下一篇：&lt;a href=&#34;https://xinqilin.github.io/post/systemdesign/consistent-hashing/&#34;&gt;Consistent Hashing&lt;/a&gt;｜&lt;a href=&#34;https://xinqilin.github.io/post/systemdesign/system-design-thinking/#%E7%B3%BB%E5%88%97%E5%9C%B0%E5%9C%96&#34;&gt;系列地圖&lt;/a&gt;&lt;/p&gt;&#xA;&lt;/blockquote&gt;&#xA;&lt;h2 id=&#34;情境與問題&#34;&gt;情境與問題&lt;/h2&gt;&#xA;&lt;p&gt;講座平台營運三年後，報名相關的資料累積到 30 億筆、12 TB。熱門講座開放報名的瞬間，寫入尖峰每秒 2 萬次。&lt;a href=&#34;https://xinqilin.github.io/post/systemdesign/replication-lag/&#34;&gt;上一篇&lt;/a&gt;的 read replica 幫不上忙：每台 replica 都要套用全部的寫入，寫入量和 primary 一樣多。&lt;/p&gt;&#xA;&lt;p&gt;單台 primary 的極限同時出現在三個地方：&lt;/p&gt;&#xA;&lt;ul&gt;&#xA;&lt;li&gt;&lt;strong&gt;寫入量&lt;/strong&gt;：所有寫入都在同一台機器上排隊&lt;/li&gt;&#xA;&lt;li&gt;&lt;strong&gt;資料量&lt;/strong&gt;：12 TB 的備份以每秒 500 MB 還原，要將近 7 小時&lt;/li&gt;&#xA;&lt;li&gt;&lt;strong&gt;記憶體&lt;/strong&gt;：常用的索引已經放不進 buffer pool，查詢開始大量讀磁碟&lt;/li&gt;&#xA;&lt;/ul&gt;&#xA;&lt;h2 id=&#34;最簡單的做法與它的極限&#34;&gt;最簡單的做法與它的極限&lt;/h2&gt;&#xA;&lt;p&gt;分片之前，先確認這些更簡單的做法都試過了：&lt;/p&gt;&#xA;&lt;ol&gt;&#xA;&lt;li&gt;&lt;strong&gt;垂直擴展&lt;/strong&gt;：換更大的機器（&lt;a href=&#34;https://xinqilin.github.io/post/systemdesign/scaling-stateless/&#34;&gt;Part 2&lt;/a&gt;）&lt;/li&gt;&#xA;&lt;li&gt;&lt;strong&gt;歸檔冷資料&lt;/strong&gt;：三年前的報名紀錄搬到便宜的儲存，主資料庫只留近期資料&lt;/li&gt;&#xA;&lt;li&gt;&lt;strong&gt;分割表&lt;/strong&gt;（partitioning）：同一台資料庫內，依月份把表切成多個分割區。查詢只掃描相關的分割區，過期資料用 &lt;code&gt;DROP PARTITION&lt;/code&gt; 瞬間刪除。MySQL 要求每個唯一索引（包括主鍵）都包含分割欄位，這和分片的唯一約束是同一個限制。但它還是一台機器，寫入量的上限沒有改變&lt;/li&gt;&#xA;&lt;li&gt;&lt;strong&gt;功能拆分&lt;/strong&gt;：報名、觀看紀錄、站內訊息分到不同的資料庫，每個資料庫只承擔一部分寫入&lt;/li&gt;&#xA;&lt;/ol&gt;&#xA;&lt;p&gt;這些都撐不住時，才把同一張表的資料分散到多台資料庫，也就是&lt;strong&gt;分片&lt;/strong&gt;（sharding）。它的代價是：跨分片的交易、跨分片的查詢、跨分片的唯一約束、重新分片，以及 N 倍的維運工作。&lt;/p&gt;&#xA;&lt;h2 id=&#34;核心機制&#34;&gt;核心機制&lt;/h2&gt;&#xA;&lt;h3 id=&#34;選-shard-key&#34;&gt;選 shard key&lt;/h3&gt;&#xA;&lt;p&gt;shard key 決定每一筆資料放在哪個分片，選錯了幾乎不可能改。依重要性排序：&lt;/p&gt;&#xA;&lt;ol&gt;&#xA;&lt;li&gt;&lt;strong&gt;交易邊界&lt;/strong&gt;：一個交易要修改的資料，必須落在同一個分片&lt;/li&gt;&#xA;&lt;li&gt;&lt;strong&gt;查詢模式&lt;/strong&gt;：最常見的查詢要帶著 shard key，才能只查一個分片&lt;/li&gt;&#xA;&lt;li&gt;&lt;strong&gt;分布&lt;/strong&gt;：資料與流量要平均，不能有少數分片特別忙&lt;/li&gt;&#xA;&lt;li&gt;&lt;strong&gt;成長&lt;/strong&gt;：新資料不能永遠寫到同一個分片&lt;/li&gt;&#xA;&lt;/ol&gt;&#xA;&lt;h3 id=&#34;分片方式&#34;&gt;分片方式&lt;/h3&gt;&#xA;&lt;table&gt;&#xA;&#x9;&lt;thead&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;方式&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;做法&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;優點&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;缺點&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/thead&gt;&#xA;&#x9;&lt;tbody&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;Range&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;依 key 的範圍，例如會員編號 1 到 100 萬放第一台&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;範圍查詢只查少數分片&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;遞增的 key 讓新資料全部寫到最後一台&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;Hash&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;hash(key) % N&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;分布平均&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;範圍查詢要查所有分片；N 改變時幾乎所有資料都要搬&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;查表（directory）&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;另外存一張「key 在哪個分片」的對照表&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;每一筆都能個別搬移&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;對照表本身要高可用，而且每次查詢多一次查表&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;邏輯分片&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;先雜湊到固定數量的 slot（例如 1024 個），再查表找到實體分片&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;搬移以 slot 為單位，對照表很小&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;slot 數量決定了未來擴充的上限&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/tbody&gt;&#xA;&lt;/table&gt;&#xA;&lt;h3 id=&#34;實測分布重新分片與跨分片查詢&#34;&gt;實測：分布、重新分片與跨分片查詢&lt;/h3&gt;&#xA;&lt;p&gt;16 個分片、200 萬筆報名，橫跨 16 個月。講座的熱門程度與會員的活躍程度都是長尾分布：少數熱門講座占了大量報名。&lt;/p&gt;</description>
			</item>
			<item>
				<title>SQL vs NoSQL：從存取模式選資料庫，而不是從名詞</title>
				<link>https://xinqilin.github.io/post/systemdesign/sql-vs-nosql/</link>
				<pubDate>Sun, 22 Nov 2026 00:00:00 +0800</pubDate>
				<guid>https://xinqilin.github.io/post/systemdesign/sql-vs-nosql/</guid>
				<description>&lt;blockquote&gt;&#xA;&lt;p&gt;&lt;strong&gt;System Design 系列&lt;/strong&gt; Part 3-1｜上一篇：&lt;a href=&#34;https://xinqilin.github.io/post/systemdesign/cdn/&#34;&gt;CDN 與 HTTP 快取&lt;/a&gt;｜下一篇：&lt;a href=&#34;https://xinqilin.github.io/post/systemdesign/index-btree/&#34;&gt;Index 與 B+Tree&lt;/a&gt;｜&lt;a href=&#34;https://xinqilin.github.io/post/systemdesign/system-design-thinking/#%E7%B3%BB%E5%88%97%E5%9C%B0%E5%9C%96&#34;&gt;系列地圖&lt;/a&gt;&lt;/p&gt;&#xA;&lt;/blockquote&gt;&#xA;&lt;h2 id=&#34;情境與問題&#34;&gt;情境與問題&lt;/h2&gt;&#xA;&lt;p&gt;電商平台要同時上線三個新功能，團隊為資料庫選型吵了起來：&lt;/p&gt;&#xA;&lt;ol&gt;&#xA;&lt;li&gt;&lt;strong&gt;訂單與付款&lt;/strong&gt;：一筆訂單要同時扣庫存、建立付款紀錄、使用優惠券，任何一步失敗都要全部回復&lt;/li&gt;&#xA;&lt;li&gt;&lt;strong&gt;商品瀏覽紀錄&lt;/strong&gt;：每天約 1 億筆，只會新增，最常見的查詢是「某位會員最近看過的 50 個商品」，保留 90 天&lt;/li&gt;&#xA;&lt;li&gt;&lt;strong&gt;商品屬性&lt;/strong&gt;：手機有螢幕尺寸和容量，衣服有尺碼和材質，每個品類的欄位都不一樣，而且營運會持續新增&lt;/li&gt;&#xA;&lt;/ol&gt;&#xA;&lt;p&gt;有人說「NoSQL 比較快，全部換 MongoDB」，有人說「MySQL 什麼都做得到」。兩邊都只說對了一半。選資料庫要問的不是「SQL 還是 NoSQL」，而是：&lt;strong&gt;資料長什麼樣子、會怎麼被讀寫、需要什麼程度的一致性、量有多大&lt;/strong&gt;。&lt;/p&gt;&#xA;&lt;h2 id=&#34;最簡單的做法與它的極限&#34;&gt;最簡單的做法與它的極限&lt;/h2&gt;&#xA;&lt;p&gt;最簡單的做法是三個功能全部放進現有的 MySQL。先估算看看哪裡會撐不住：&lt;/p&gt;&#xA;&lt;ul&gt;&#xA;&lt;li&gt;&lt;strong&gt;訂單&lt;/strong&gt;：本來就是關聯式資料庫最擅長的事，多筆資料在同一個交易裡全有或全無&lt;/li&gt;&#xA;&lt;li&gt;&lt;strong&gt;瀏覽紀錄&lt;/strong&gt;：1 億筆 ÷ 86,400 秒 ≈ 平均每秒 1,157 筆，尖峰抓 5 倍約 5,800 筆。InnoDB 每筆資料加上列標頭與交易資訊，大約 50–70 bytes，每天約 5–7 GB，保留 90 天約 0.5 TB。單台 MySQL 用批次寫入可以處理這個量（量級估計，實際要壓測）。真正的麻煩在&lt;strong&gt;刪除&lt;/strong&gt;：每天要刪掉 1 億筆過期資料，&lt;code&gt;DELETE&lt;/code&gt; 會產生大量 undo log、鎖和碎片&lt;/li&gt;&#xA;&lt;li&gt;&lt;strong&gt;商品屬性&lt;/strong&gt;：傳統做法是 EAV（entity–attribute–value）表，每個屬性一列。查「螢幕 6 吋以上、容量 256 GB 的手機」要自己 join 自己好幾次，又慢又難寫&lt;/li&gt;&#xA;&lt;/ul&gt;&#xA;&lt;p&gt;所以極限不在「MySQL 慢」，而在&lt;strong&gt;資料的形狀和生命週期&lt;/strong&gt;。後面會看到，這三個問題在 MySQL 裡都有解，而且比引入新資料庫便宜得多。但先要理解 NoSQL 到底在解決什麼。&lt;/p&gt;</description>
			</item>
	</channel>
</rss>
