Data Engineer

Описание

Freedom Media — динамично развивающаяся компания в сфере цифровых развлечений, которая является частью проекта нового телеком оператора Freedom Telecom.

Мы ищем опытного Data Engineer, который будет участвовать в построении и поддержке процессов обработки данных, оптимизации ETL/ELT-конвейеров и развитии архитектуры DWH. Вы будете играть ключевую роль в проектировании, реализации и поддержке событийной аналитики, а также в подготовке отчетности по рекламным кампаниям.

Что тебя ждет:

• Разработка и поддержка ETL/ELT-процессов с использованием Apache Spark (PySpark) и Airflow.
• Оптимизация производительности Spark jobs (конфигурации, партиционирование, масштабируемость).
• Очистка, агрегирование и пакетная обработка больших объемов данных.
• Проектирование моделей данных и выбор оптимальных решений для построения DWH.
• Создание и поддержка схем, объектов БД, настройка миграций с помощью Liquibase.
• Работа с различными источниками данных и интеграция через Kafka, RabbitMQ.
• Обеспечение надежности и автоматизации конвейеров данных.

Что нужно от тебя:

• Опыт работы на позиции Data Engineer / ETL Engineer от 3 лет.
• Уверенные знания в проектировании архитектуры DWH.
• Глубокое понимание принципов работы Spark и Airflow.
• Навыки оптимизации ETL-процессов и обработки больших объемов данных.
• Опыт работы с распределенными файловыми системами (HDFS, S3).
• Понимание CI/CD-практик и работы с GitLab.

• Языки и базы данных: Python, SQL, Greenplum, Oracle.
• Big Data / хранилища: HDFS, S3.
• Фреймворки и инструменты: Apache Airflow, Apache Spark, PySpark.
• Брокеры сообщений: Kafka, RabbitMQ.
• Системы контроля версий и миграций: GitLab, Liquibase.

Почему это круто:

• Ты будешь работать с инновационной платформой, которая меняет правила игры в индустрии развлечений Казахстана.
• Станешь частью амбициозной и креативной команды, готовой покорять вершины.
• Возможность профессионального роста и развития в динамичной и быстрорастущей отрасли.

Если ты готов к вызову и хочешь оставить свой след в развитии , присоединяйся к нам и давай вместе изменим будущее цифрового контента