SystemDesign
檔案與物件儲存:Block、File、Object 的取捨,multipart 直傳、metadata 一致性與上傳安全
System Design 系列 Part 3:比較 block、file、object 三種儲存,拆解物件儲存的擴展方式與 multipart 直傳,處理資料庫與檔案之間沒有交易的一致性問題,並整理上傳檔案的安全檢查
冪等性與 Idempotency Key:讓重試變得安全
System Design 系列 Part 5:說明重試為何造成重複報名與重複扣款,比較唯一鍵、條件式更新與 Idempotency-Key,處理並行請求、請求指紋、保存期限與 key 的範圍等安全問題
備援、故障轉移與災難復原:從可用性數字到還原演練
System Design 系列 Part 6:用可用性數字與 RPO、RTO 設計備援,拆解故障轉移的偵測、決策、提升與轉向,說明複寫為何不是備份,以及還原演練與防範勒索軟體
垂直擴展、水平擴展與無狀態服務:Session、檔案、排程與本機狀態該搬去哪裡
System Design 系列 Part 2:比較垂直與水平擴展,盤點藏在應用程式裡的狀態,用 Spring Session、ShedLock、S3 presigned URL 與優雅關機改造成可任意增減的無狀態服務
系統設計怎麼想:從需求釐清、估算到 Trade-off 與 HLD/LLD
System Design 系列導讀:用活動報名系統示範如何釐清功能與非功能需求、粗估流量、找出真正的瓶頸、比較方案取捨並寫成 ADR,也說明 HLD 與 LLD 的分工,附系列地圖
即時更新:輪詢、長輪詢、SSE 與 WebSocket 怎麼選,以及多台伺服器怎麼推播
System Design 系列 Part 5:比較輪詢、長輪詢、SSE 與 WebSocket,說明多台伺服器的推播扇出、合併更新與重連漏接,並處理 WebSocket 的來源檢查與逐則授權
共識與 Raft:選舉、log 複製、讀取一致性,以及用 etcd 做 leader election
System Design 系列 Part 4:拆解 Raft 的選舉、log 複製與安全性,說明多數決、linearizable 讀取與成員變更的取捨,並用 etcd 讓排程只在一台執行,處理失去 leadership 的情況
全文搜尋與倒排索引:中文斷詞、BM25 排序、索引同步與搜尋的授權邊界
System Design 系列 Part 3:從 LIKE 的極限出發,實作倒排索引說明中文 bigram 的陷阱與 BM25 排序,比較 MySQL FULLTEXT 與 Elasticsearch,並處理索引同步與搜尋的授權問題
交易與隔離等級:MVCC、Lost Update、Write Skew 與 Spring 的交易邊界
System Design 系列 Part 3:以活動報名實測 lost update 與 write skew,比較條件式 UPDATE、悲觀鎖、樂觀鎖與唯一約束,並說明各資料庫隔離等級的差異與 Spring 交易邊界
分散式鎖與 Fencing Token:鎖會過期,持有者卻不知道
System Design 系列 Part 4:分析租約型分散式鎖在 GC 停頓與 failover 下為何失效,比較 Redis、Redlock、資料庫與 etcd 的做法,並用 fencing token 與冪等鍵保護不能重複的撥款
分散式 ID:UUIDv7、Snowflake 與號段模式,主鍵的排序、大小與洩漏的資訊
System Design 系列 Part 4:實測隨機與時間有序主鍵對 B+Tree 的影響,比較 UUIDv7、Snowflake 與號段模式的取捨,並示範公開的 ID 會洩漏多少業務量與時間資訊
一個 HTTP Request 的旅程:DNS、TCP、TLS、Load Balancer 到資料庫的每一段耗時
System Design 系列 Part 1:拆解 HTTPS 請求經過 DNS、TCP 與 TLS 握手、LB、Spring Boot 到 MySQL 的每段耗時,說明跨區延遲為何救不回來,並實際量測與最佳化
Timeout、Retry、Backoff 與 Jitter:重試怎麼救系統,又怎麼壓垮系統
System Design 系列 Part 6:設定逾時與逾時預算,判斷哪些錯誤可以重試,用指數退避、jitter 與重試預算避免重試風暴,並用 Spring Framework 7 的 @Retryable 落地
SQL vs NoSQL:從存取模式選資料庫,而不是從名詞
System Design 系列 Part 3:拆解關聯式、Key-Value、文件、寬欄、圖形資料庫的資料模型與取捨,說明 NoSQL 快在哪裡、代價是什麼,並示範用 MySQL JSON 欄位與分區表延後引入新資料庫
Sharding:shard key 怎麼選、重新分片怎麼搬,以及跨分片之後失去的東西
System Design 系列 Part 4:實測三種 shard key 的資料分布、重新分片要搬多少資料與跨分片查詢的尾端延遲,用 Spring 實作依講座分片的報名與 outbox 索引表,並處理多租戶隔離與熱點攻擊
REST、gRPC 與 GraphQL:依呼叫者選擇 API 風格
System Design 系列 Part 5:比較 REST、gRPC 與 GraphQL 的契約、快取、串流與除錯成本,依呼叫者選擇 API 風格,並處理 deadline、N+1 查詢與查詢深度限制等效能與安全問題
Replication 與 Replication Lag:讀寫分離之後,使用者為什麼讀不到自己剛寫的資料
System Design 系列 Part 4:模擬 replica 延遲尖峰下四種讀取路由的一致性,用 Spring 做讀寫分離、以 GTID 實作 read-your-writes,並處理權限檢查讀到舊資料的風險
Rate Limiting:限流演算法、分散式限流,以及限流和降載的差別
System Design 系列 Part 6:比較固定視窗、滑動視窗與 token bucket,說明分散式限流、限流的 key 與 429 回應,區分限流與降載,並用 Redis Lua script 落地
Pub/Sub 與投遞語意:Kafka 的分區、消費群組,以及 exactly-once 到底保證了什麼
System Design 系列 Part 5:比較 RabbitMQ 與 Kafka 的 Pub/Sub 模型,釐清 at-least-once 與 exactly-once 的意義,說明分區順序、消費群組與 DLT,並用冪等消費者落地
Observability:metrics、log、trace 與 SLO,從「好像變慢了」到找出原因
System Design 系列 Part 6:用 metrics、log 與 trace 找出系統哪裡出問題,說明基數爆炸、取樣、SLO 與燃燒率告警,以及稽核紀錄與遙測資料的資安風險
Napkin Math 容量估算:用延遲數字與乘除法,算出要幾台機器、多少儲存
System Design 系列 Part 1:整理估算必備的換算與延遲數字,示範從日活躍使用者推算尖峰 QPS、機器數、資料庫儲存與頻寬,判斷要不要分散式,附可直接執行的 Java 估算程式與常見錯誤
Message Queue:解耦、削峰與重試,以及訊息一定會重複這件事
System Design 系列 Part 5:用 Message Queue 解耦、削峰與重試,說明 ack 與重複投遞、毒訊息與 DLQ、順序與雙寫問題,並用 RabbitMQ quorum queue 與 Spring AMQP 落地
Load Balancing 深入:L4 與 L7、演算法、健康檢查與連線排空
System Design 系列 Part 2:比較 L4 與 L7,用模擬看 Round Robin、P2C、Least Outstanding 遇到慢節點的差異,設計不會連鎖故障的健康檢查,處理 keep-alive 與連線排空
Latency、Throughput 與 p99:別再看平均值,用 Little's Law 算出執行緒與連線池
System Design 系列 Part 1:說明 latency、throughput 與百分位數,平均值為何會騙人、扇出如何放大長尾、使用率為何不能拉滿,並用 Little's Law 推算執行緒與連線池
Index 與 B+Tree:從磁碟頁面到複合索引、索引失效與 keyset 分頁
System Design 系列 Part 3:從磁碟頁面說明 B+Tree 為何只要三層就能裝下上億筆資料,拆解聚簇與次要索引、複合索引的最左前綴、常見的索引失效寫法、索引的寫入代價與 keyset 分頁
Geohash 與地理索引:附近搜尋的格子邊界、Redis GEO,以及距離如何洩漏位置
System Design 系列 Part 3:用 Geohash 把經緯度變成 B+Tree 能查的字串,實測格子邊界與 9 格查詢,比較 Redis GEO、MySQL SPATIAL 與 H3,並示範如何只靠距離回應三角定位使用者
Consistent Hashing:增減節點只搬 1/N、虛擬節點與 rendezvous hashing,以及被刻意挑選的 key
System Design 系列 Part 4:實測 hash ring、虛擬節點與 rendezvous hashing 在增減節點時的搬移量與負載,用 Guava 實作快取路由與工作分配,並示範挑選 key 壓垮單一節點的攻擊
Circuit Breaker 與 Bulkhead:讓一個壞掉的下游不會拖垮整個系統
System Design 系列 Part 6:用 circuit breaker 讓故障的下游快速失敗並設計降級,用 bulkhead 隔離資源避免連鎖故障,並以 Resilience4j 與 @ConcurrencyLimit 落地
CDN 與 HTTP 快取:Cache-Control、版本化資源、邊緣快取與快取攻擊
System Design 系列 Part 2:CDN 如何縮短延遲並分擔 origin 頻寬,拆解 Cache-Control、ETag 與 304、版本化資源與 API 微快取,並防範快取欺騙與快取汙染攻擊
CAP 與 PACELC:斷線時選一致還是可用,沒斷線時選延遲還是一致
System Design 系列 Part 4:釐清 CAP 與 PACELC 真正的取捨,模擬跨機房 quorum 的延遲、過時讀取與斷線表現,用 Cassandra 依功能選擇一致性等級,並處理分割期間的授權問題
Cache 深入:命中率的數學、寫入順序的競態、穿透擊穿雪崩與多層快取
System Design 系列 Part 2:從命中率的數學出發,分析 cache-aside 寫入順序的競態、穿透擊穿雪崩的成因與對策、熱 key 與多層快取,並用 Spring Cache、Caffeine、Redis 實作提交後失效
Bloom Filter 與 HyperLogLog:用一點誤差換大量記憶體,以及估計值被刻意操縱時怎麼辦
System Design 系列 Part 3:實測 Bloom filter 的誤判率與容量的關係、HyperLogLog 的估計誤差與合併,用它們擋下快取穿透、計算不重複訪客,並示範攻擊者如何利用公開雜湊灌水估計值
B-Tree vs LSM-Tree:原地更新與只追加,寫入、讀取與空間放大的取捨
System Design 系列 Part 3:比較 B+Tree 原地更新與 LSM-Tree 只追加寫入,用模擬看 tiering 與 leveling 的三種放大,並說明 tombstone 陷阱與刪除不等於抹除