Александр Головня — Управление нагрузкой и приоритизацией клиентов в Spring Cloud Gateway

Подробнее о Java-конференциях: — весной — JPoint:
— осенью — Joker:
— — Скачать презентацию с сайта JPoint —
В критичных распределенных системах нам важно управлять непредсказуемыми всплесками трафика и обеспечивать доступ клиентам на основе их приоритета. Классические rate-лимиты и квоты помогают контролировать нагрузку, но не поддерживают динамическую приоритизацию, когда несколько клиентов конкурируют за ограниченные ресурсы. В этом докладе мы рассмотрели кастомный механизм ограничения нагрузки с приоритизацией клиентов, реализованный на основе Spring Cloud Gateway. Обсудили ограничения стандартных решений и увидели, как кастомный фильтр с распределенным управлением пропускной способностью в Redis обеспечивает приоритетный доступ клиентам и перераспределяет неиспользуемые ресурсы. Разобрали: — Архитектуру и реализацию распределенного управления пропускной способностью с использованием Redis и Lua-скриптов для атомарных операций. — Алгоритм приоритизации клиентов и динамического перераспределения пропускной способности. — API для динамического изменения лимитов пропускной способности. — Детали реализации кастомного фильтра в Spring Cloud Gateway. — Обработку пограничных случаев и уроки, извлеченные из продакшен-использования. Доклад будет полезен разработчикам, работающим с микросервисами, API Gateway и управлением трафиком, которым требуется масштабируемый и адаптивный механизм обработки запросов с учетом приоритета клиентов, выходящего за рамки классических rate-лимитов.