演讲主题

基于Kafka/Storm的实时流量控制系统

从Availability角度来说，任何服务在有限资源的条件下，能处理的TPS都有一个上限。如果超过这个上限，Service的SLA会急剧下降，甚至导致Service不可用。eBay的Public API就在使用RateLimiter提供流量保护。从Security角度来说，需要阻止黑客频繁访问某些API而获取大量信息。 eBayRateLimiter是基于Policy在Layer7可对所有WebAPP/Service进行流量控制的系统。它的主要使用场景是保护App被过度访问以及DoS攻击；同时可以根据业务规则设置不同级别访问API的Quota。eBayRateLimiter采用异步处理方案，利用Kafka和Storm为App提供低延迟和高可靠性的过载保护方案。在为其它App提供过载保护的同时，eBayRateLimiter系统也具有自我保护的能力。对于普通流量，RateLimiter追求低延迟；而且对于攻击流量，RateLimiter追求高吞吐量，以达到高可用性。它主要包含4个主要模块：App Instrument; RateLimiter Service; RateLimiter Backend以及Dashboard。