Data Engineer
Data Engineer
Задачи:
- Разработка ETL на Apache Spark (Java стек);
- Разработка ETL-пайплайнов (Apache Spark, HDFS (parquets), Hive, Greenplum, ClickHouse);
- Разработка витрин данных в Greenplum и ClickHouse;
- Оркестрация ETL-процессов;
- Оптимизация ETL-процессов (батчинг, ретраи, SLA-контроль);
- Взаимодействие с BI-разработчиками и DevOps для своевременной доставки данных в Superset.
Наши ожидания от кандидатов:
- Опыт работы с Apache Spark от 1 года;
- Опыт работы с СУБД (Greenplum, ClickHouse, PostgreSQL) от 2 лет;
- Опыт работы с Hadoop (HDFS, Hive);
- Опыт проектирования и разработки потоков данных, алгоритмов загрузки и обработки данных;
- Опыт оптимизации ETL-пайплайнов и SQL кода;
- Продвинутые знания SQL;
- Понимание принципов работы распределенных систем;
- Готовность осваивать Java для использования Spark.
Будет плюсом:
- Опыт разработки на Java;
- Опыт работы в проектах, связанных с миграцией данных или BI-платформ;
- Опыт работы в банковской сфере, понимание бизнес домена;
- Опыт работы в крупных проектах с высокими требованиями к надежности.
Мы предлагаем:
- Работу в аккредитованной IT-компании;
- Гибридный формат работы;
- Гибкое начало рабочего дня: с 08:00 до 11:00;
- ДМС со стоматологией, телемедициной и полисом ВЗР;
- Возможность взять больничный без больничного: 7 дней в году;
- IT-конференции, курсы, тренинги и сертификацию за счет компании;
- Курсы английского онлайн с компенсацией стоимости;
- Систему фидбеков, планов развития и роста в должности/ЗП.
Отправить резюме
Заполните форму ниже или пришлите свое резюме нам на почту hr@cinimex.ru