<?xml version="1.0" encoding="utf-8" standalone="yes"?>
<rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom">
	<channel>
		<title>Rate Limiting on Bill.Lin&#39;s Notes</title>
		<link>https://xinqilin.github.io/tags/rate-limiting/</link>
		<description>Recent content in Rate Limiting on Bill.Lin&#39;s Notes</description>
		<generator>Hugo</generator>
		<language>zh-tw</language>
		
		
		
		
			<lastBuildDate>Sun, 22 Nov 2026 00:00:00 +0800</lastBuildDate>
		
			<atom:link href="https://xinqilin.github.io/tags/rate-limiting/index.xml" rel="self" type="application/rss+xml" />
			<item>
				<title>Rate Limiting：限流演算法、分散式限流，以及限流和降載的差別</title>
				<link>https://xinqilin.github.io/post/systemdesign/rate-limiting/</link>
				<pubDate>Sun, 22 Nov 2026 00:00:00 +0800</pubDate>
				<guid>https://xinqilin.github.io/post/systemdesign/rate-limiting/</guid>
				<description>&lt;blockquote&gt;&#xA;&lt;p&gt;&lt;strong&gt;System Design 系列&lt;/strong&gt; Part 6-4｜上一篇：&lt;a href=&#34;https://xinqilin.github.io/post/systemdesign/circuit-breaker-bulkhead/&#34;&gt;Circuit Breaker 與 Bulkhead&lt;/a&gt;｜下一篇：&lt;a href=&#34;https://xinqilin.github.io/post/systemdesign/observability/&#34;&gt;Observability&lt;/a&gt;｜&lt;a href=&#34;https://xinqilin.github.io/post/systemdesign/system-design-thinking/#%E7%B3%BB%E5%88%97%E5%9C%B0%E5%9C%96&#34;&gt;系列地圖&lt;/a&gt;&lt;/p&gt;&#xA;&lt;/blockquote&gt;&#xA;&lt;h2 id=&#34;情境與問題&#34;&gt;情境與問題&lt;/h2&gt;&#xA;&lt;p&gt;講座平台最近遇到幾件事：&lt;/p&gt;&#xA;&lt;ul&gt;&#xA;&lt;li&gt;熱門講座開放報名的瞬間，有人用程式每秒送出上千個報名請求，名額在 2 秒內被搶光，真人使用者連頁面都還沒載入&lt;/li&gt;&#xA;&lt;li&gt;一個合作夥伴的系統有 bug，在迴圈裡不斷呼叫查詢 API，每秒 5,000 個請求，拖慢了所有人&lt;/li&gt;&#xA;&lt;li&gt;登入 API 每分鐘收到數萬次嘗試，帳號密碼來自其他網站外洩的資料（credential stuffing）&lt;/li&gt;&#xA;&lt;li&gt;簡訊驗證碼 API 被大量呼叫，發送到國外的付費號碼，一個晚上燒掉幾萬元的簡訊費&lt;/li&gt;&#xA;&lt;/ul&gt;&#xA;&lt;p&gt;&lt;a href=&#34;https://xinqilin.github.io/post/systemdesign/circuit-breaker-bulkhead/&#34;&gt;上一篇&lt;/a&gt;的 circuit breaker 與 bulkhead 保護的是「我呼叫的下游」。這篇要保護的是自己：&lt;strong&gt;限制每個呼叫者能用掉多少資源&lt;/strong&gt;，讓一個呼叫者的行為不會影響其他人。&lt;/p&gt;&#xA;&lt;h2 id=&#34;最簡單的做法與它的極限&#34;&gt;最簡單的做法與它的極限&lt;/h2&gt;&#xA;&lt;p&gt;在每台應用伺服器的記憶體裡，用一個 map 記錄每個使用者這一分鐘的請求數，超過 100 就拒絕。&lt;/p&gt;&#xA;&lt;ul&gt;&#xA;&lt;li&gt;4 台伺服器各自計數，使用者實際能送出 400 個請求（&lt;a href=&#34;https://xinqilin.github.io/post/systemdesign/scaling-stateless/&#34;&gt;無狀態服務篇&lt;/a&gt;的「記憶體計數器」問題）。自動擴充到 8 台，限額又悄悄變成 800&lt;/li&gt;&#xA;&lt;li&gt;「這一分鐘」從整點開始算，使用者可以在 00:59 送 100 個、01:00 再送 100 個，2 秒內送出 200 個&lt;/li&gt;&#xA;&lt;/ul&gt;&#xA;&lt;h2 id=&#34;核心機制&#34;&gt;核心機制&lt;/h2&gt;&#xA;&lt;h3 id=&#34;演算法&#34;&gt;演算法&lt;/h3&gt;&#xA;&lt;p&gt;&lt;strong&gt;固定視窗&lt;/strong&gt;（fixed window）：每個時間窗（例如每分鐘）一個計數器，超過上限就拒絕。&lt;/p&gt;&#xA;&lt;ul&gt;&#xA;&lt;li&gt;實作最簡單，Redis 一個 &lt;code&gt;INCR&lt;/code&gt; 加上 &lt;code&gt;EXPIRE&lt;/code&gt; 就完成&lt;/li&gt;&#xA;&lt;li&gt;視窗交界的問題：上限每分鐘 100，最壞情況在 2 秒內通過 200 個&lt;/li&gt;&#xA;&lt;/ul&gt;&#xA;&lt;p&gt;&lt;strong&gt;滑動視窗紀錄&lt;/strong&gt;（sliding window log）：記錄每個請求的時間戳，計算最近 60 秒內的數量。&lt;/p&gt;</description>
			</item>
	</channel>
</rss>
