Data Engineer

Описание

Компания: АО «Центр развития города Алматы»

«Мы строим умный город, используя передовые технологии аналитики и визуализации данных»

Мы расширяем свой департамент «Ситуационный центр г. Алматы» (https://smartalmaty.kz/) и ищем инженера данных, с опытом решения прикладных задач в области Smart City. Ситуационный центр отражает город в цифрах, с визуализацией и гео-пространственной аналитикой.

Обязанности:

• Разработка и поддержка инфраструктуры данных

  • Проектирование и настройка баз данных и хранилищ (PostgreSQL/PostGIS, ClickHouse).

  • Оптимизация производительности и масштабируемости БД и хранилищ.

  • Администрирование S3-совместимого хранилища MinIO, настройка политик хранения и доступа.

• Сбор и интеграция данн ых в пайплайне

  • Разработка и поддержка процессов загрузки данных с веб-платформы.

  • Организация хранения файлов в MinIO (S3 Storage).

  • Создание и сопровождение DAG-ов в Apache Airflow для автоматизации обработки данных.

  • Настройка взаимодействия с Apache Kafka для передачи сообщений между компонентами системы.

  • Запись обработанных данных в OLAP-базу ClickHouse.

  • Публикация аналитических данных в PostGIS для дальнейшей гео-аналитики.

• Обработка и анализ данных

  • Очистка, нормализация и моделирование данных в рамках ETL-процессов.

  • Разработка и оптимизация SQL-запросов для аналитики и выгрузок.

  • Построение моделей данных, справочников и мастер-данных.

• Автоматизация и мониторинг

  • Автоматизация процессов сбора, обработки и визуализации данных.

  • Настройка мониторинга всех компонентов пайплайна (MinIO, Airflow, Kafka, ClickHouse, PostGIS).

  • Устранение сбоев и оптимизация времени обработки.

• Документирование и взаимодействие

  • Подготовка технической документации по каждому компоненту пайплайна.

  • Согласование архитектурных решений с командой разработчиков и аналитиков.

  • Обучение и консультирование пользователей системы по работе с данными и пайплайном.

Требования:

• Образование и опыт

  • Высшее техническое образование.

  • Опыт работы от 3 лет в области дата-инженерии, интеграции и обработки данных.

  • Опыт построения и сопровождения сложных ETL-процессов.

• Технологические навыки

  • Уверенное знание SQL и Python.

  • Опыт работы с PostgreSQL (включая PostGIS), ClickHouse.

  • Навыки работы с S3-совместимыми хранилищами (MinIO или аналогами).

  • Опыт разработки DAG-ов и администрирования Apache Airflow.

  • Опыт настройки и использования Apache Kafka для обмена сообщениями.

  • Понимание OLAP/OLTP-систем и оптимизации запросов.

  • Навыки работы с форматами данных XML, JSON, CSV.

  • Опыт интеграций через REST API.

• Инфраструктура и DevOps

  • Навыки контейнеризации и оркестрации (Docker, Kubernetes).

  • Опыт работы с системами управления версиями (Git).

  • Знание Linux CLI и администрирования серверов.

  • Опыт настройки мониторинга и логирования (Prometheus, Grafana, ELK и др.).

• Аналитика и визуализация
  • Опыт работы с BI-системами (Power BI) и подключением их к базам данных.
  • Понимание принципов гео-аналитики и работы с гео-пространственными данными.

  • Навыки построения аналитических моделей и дашбордов.

• Методы анализа данных

  • Знание основных методов статистики и анализа данных.

  • Опыт работы с большими данными, включая потоковую обработку.

  • Понимание принципов машинного обучения (ML) и их применения в аналитике (как преимущество).

• Личные качества

  • Логическое и аналитическое мышление.

  • Организованность, внимательность к деталям.

  • Умение эффективно взаимодействовать с разработчиками, аналитиками и заказчиками.

  • Готовность работать в многозадачной среде и в команде.

Будет преимуществом:

• • Опыт администрирования и оптимизации ClickHouse в высоконагруженных системах.
  • Знание и опыт работы с Apache Kafka для потоковой обработки данных в реальном времени.
  • Практический опыт работы с MinIO или другими S3-совместимыми хранилищами.
  • Участие в проектах по построению сложных ETL-процессов в Apache Airflow.
  • Опыт интеграции и автоматизации аналитических пайплайнов “end-to-end” (от Website до PostGIS).
  • Знание принципов и технологий Big Data (Spark, Hadoop, Flink).
  • Навыки разработки и поддержки API для обмена данными между системами.
  • Опыт применения методов машинного обучения (ML) и искусственного интеллекта (AI) для анализа данных.
  • Владение английским языком на уровне, достаточном для чтения технической документации.
  • Опыт работы с системами контейнеризации и оркестрации (Docker, Kubernetes).
  • Навыки работы с системами мониторинга и логирования (Prometheus, Grafana, ELK).

Гибкие навыки:

• Опыт работы в команде над проектами с высокой степенью неопределённости.
• Навыки коммуникации, ведения переговоров. Находить общий язык с заказчиками, умение вести конструктивную коммуникацию с коллегами.
• Умение нестандартно мыслить. Критический анализ собственных идей и информации.
• Ответственный подход к решению поставленных задач и доведению их до продакшена.
• Логический и аналитический склад ума.
• Точность и внимательность.
• Желание развиваться и постоянно оптимизировать работу департамента.
• Способность объяснять сложные вещи простыми словами.

Условия:

• Работа в современном офисе в центре Алматы.

• Карьерный рост и обучение за счёт компании.

• Отпуск 30 дней.

• До 4 премий в год.

• Медицинская страховка.