Развитие трейсинга в hh.ru. От Cassandra и OpenTelemetry до Vector и ClickHouse

В каждой компании есть необходимость выстроить систему observability. В своем докладе расскажу, как мы прошли несколько вариантов реализации пайплайна сбора и хранения трейсов. Посмотрим, почему отказались от агентов (коллекторов) Jaeger, Elasticseach, Cassandra и OpenTelemetry. Поговорим о том, как мы несколько раз перестраивали нашу архитектуру под большее количество данных. Много ли данных у нас данных? Имеем на входе 24 000 RPS, 1 млн спанов в секунду, 10 000 инстансов сервисов. Рассмотрим плюсы и минусы трейсинга без семплирования.