Публикации
Яндекс изнутри: инфраструктура хранения и обработки данных. Лекция в Яндексе
16 окт 2016
Представители Яндекса рассказали о том, как им удаётся добиться балансирования нагрузки между корпоративными дата-центрами, поделились информацией о СУБД ClickHouse (используется сервисом веб-аналитики Яндекс.Метрика), а также представили интересные факты, касающиеся таких технологий как Media Storage и Yandex Query Language.
Наша инфраструктура уникальна. Суммарный объём данных, которыми оперирует Яндекс, измеряется эксабайтами, а требования к системам хранения — очень жёсткие.
Руководители команд и ведущие разработчики направления инфраструктуры расскажут, как удаётся добиться согласованной работы огромных дата-центров, что такое Media Storage, YT и Yandex Query Language. Слушатели узнают, как устроена СУБД ClickHouse, на основе которой работает Яндекс.Метрика. И ещё — всем наконец-то станет известно, сколько же в Яндексе MapReduce-систем.
Ссылки для ознакомления:
- YT: зачем Яндексу своя MapReduce-система и как она устроена
- Как писать меньше кода для MR, или Зачем миру ещё один язык запросов? История Yandex Query Language
- Как применение кодов избыточности в SDS помогает Яндексу дёшево и надёжно хранить данные
- Яндекс открывает ClickHouse
Подробнее: PR-CY.RU