Rust 异步微服务扛洪攻略：限流、背压、批处理、中间件一站讲透
关注梦兽编程微信公众号，轻松了解Rust 周一早高峰的地铁站，人潮汹涌。闸机在入口限流，站台有人数管控，列车会临时加编组，广播把大家调度得井井有条。这一整套“城市级调度”，就是微服务在高并发下要做的事。你的 Rust 服务，也需要同款四道闸门：限流、背压、批处理、以及一脑袋灵光的中间件。 先把结论放在前面。稳定不是“慢”，稳定是让“快”有序地发生。只要闸门装在对的位置，洪水进来都能分流成河。 为什么会堵：异步不等于无限并发 很多人一看到异步，就以为服务器像开挂了一样能无限接单。现实更像外卖平台：订单暴涨那一刻，骑手数量、后厨火力、商家出餐速度，任何一个短板都能卡住整条链路。吞吐永远受制于最慢的环节，排队本身不是原罪，失控排队才是事故的来源。 所以第一原则很简单：别让请求在你不知道的地方悄悄堆积。该拒就拒、该排就排、该攒就攒、该协调就协调。 限流：像地铁闸机一样，按节奏放行 入口限流就是闸机。我们不是不欢迎大家，而是不想一窝蜂冲进站台把人挤翻。限流保护的是你自己和下游依赖，尤其是第三方 API、数据库、或拥贵资源位。 在 Rust 里，基于 Tower 生态可以很优雅地加一层“闸机”。下面是一个把限速、并发上限、超时、追踪打包起来的最小示例，搭配 Axum 路由即可复用在全站： use axum::{routing::post, Router}; use std::time::Duration; use tower::{ServiceBuilder, timeout::TimeoutLayer}; use tower::limit::{ConcurrencyLimitLayer, RateLimitLayer}; use tower_http::trace::TraceLayer; async fn create_order() -> &'static str { "ok" } #[tokio::main] async fn main() { let middleware_stack = ServiceBuilder::new() .layer(TraceLayer::new_for_http()) .layer(TimeoutLayer::new(Duration::from_secs(2))) .layer(ConcurrencyLimitLayer::new(256)) .layer(RateLimitLayer::new(100, Duration::from_secs(1))) .into_inner(); let app = Router::new() .route("/orders", post(create_order)) .layer(middleware_stack); axum::Server::bind(&"0.0.0.0:3000".parse().unwrap()) .serve(app.into_make_service()) .await .unwrap(); } 这个“闸机”有两层意思：速率限制（每秒最多 100 个请求），和并发限制（最多同时处理 256 个）。既平滑了突发，也避免把下游打跪。更进一步，你可以按租户、按 API Key 维度做分桶配额，把“公平”落在数据上。 ...