Привет! Меня зовут Дмитрий, я возглавляю команду Data Engineering. С ростом количества пользователей увеличивается и нагрузка на сервис, поэтому мы ищем опытного специалиста, который будет принимать участие в проектах по развитию дата-платформы.
У нас
- Более 500 GB сырых Clickstream-данных в сутки.
- Более 500 GB сырых Operational Data в сутки.
- Более 500 витрин данных.
- Более 10 видов источников данных.
Позиция предполагает высокую степень автономности и самостоятельности, но вместе с тем — плотное взаимодействие с коллегами, аналитиками, ML Engineer и разработчиками.
Задачи
- Сопровождение и разработка Airflow DAGs.
- Оптимизация и разработка SQL-запросов для витрин данных.
- Сопровождение и развитие инфраструктуры дата-платформы.
- Разработка dbt-моделей. Портирование существующих витрин на dbt-модели.
- Проектирование, разработка и тестирование ETL/ELT-процессов.
- Проведение Proof of Concept с дальнейшей презентацией и внедрением в продакшен.
- Участие в принятии архитектурных решений для дата-платформы.
- Описание технических частей итоговой работы в документации.
Мы ждем, что вы
- Имеете опыт работы инженером данных от 4-5 лет.
- Уверенно владеете Python на уровне написания Airflow DAG’ов.
- Уверенно владеете SQL на уровне оптимизации запросов. Умеете читать планы запросов и предлагать варианты по улучшению производительности.
- Имеете опыт работы с Apache Airflow, знаете принципы построения пайплайнов.
- Имеете опыт работы с dbt.
- Знаете, что такое MPP (Massive Parallel Processing) СУБД и имели опыт работы с подобными (Redshift, Greenplum, Vertica).
- Уверенный Linux-пользователь.
- Умеете чётко формулировать технические спецификации и отстаивать техническую позицию.
- Умеете выбирать технологии для решения конкретных задач.
Будет плюсом
- Опыт работы с облачной инфраструктурой AWS для построения дата-платформы.
- Опыт работы в области построения архитектуры Lake House с использованием Parquet, AWS Athena и других технологий AWS.
- Опыт работы с системами мониторинга (Prometheus + Grafana, Zabbix).
- Опыт работы с СУБД Postgres, ClickHouse.
- Опыт работы с Apache NiFi.
- Опыт сборки и сопровождения контейнеров Docker.
Мы готовы предложить вам
- Работу с первым по популярности продуктом в своей отрасли.
- Оформление по ТК Грузии, конкурентную заработную плату.
- Гибкий график, адаптивное рабочее место и пространство для отдыха.
- ДМС, а также 100% компенсацию больничного листа.
- Компенсацию питания и неограниченное количество снеков круглосуточно.
- Компенсацию изучения английского языка, участие в конференциях и курсах под спонсорством компании.
- Тимбилдинги и корпоративные мероприятия.
- Поддержку от HR-партнёра, который поможет адаптироваться и решить любые вопросы.
Мы не рассматриваем удалённый формат сотрудничества.
