002. YT — эволюция MapReduce-системы Яндекса — Максим Бабенко

Вот уже шесть лет в Яндексе идёт работа над системой под кодовым названием YT. Она служит основной платформой хранения и обработки больших объёмов данных. Можно сказать, что это наше собственное решение, реализующее модель распределённых вычислений MapReduce. Мы уже рассказывали о ней три года назад на YaC. С тех пор система вышла за рамки MapReduce. В докладе мы начнём с небольшого исторического обзора, поделимся новостями, расскажем о ближайших планах и уже наконец раскроем тайну — сколько в Яндексе MapReduce-систем :) Страница встречи на сайте Событий Яндекса:
Статьи об инфраструктуре Яндекса: YT: зачем Яндексу своя MapReduce-система и как она устроена:
Как писать меньше кода для MR, или Зачем миру ещё один язык запросов? История Yandex Query Language:
Как применение кодов избыточности в SDS помогает Яндексу дёшево и надёжно хранить данные:
Яндекс открывает ClickHouse:

Смотрите также