Описание

Обязанности:
•    Проектирование, разработка и сопровождение надежных ETL/ELT пайплайнов
•    Интеграция данных из различных источников: API, базы данных, файловые системы, стриминг-сервисы
•    Разработка и поддержка витрин данных для аналитики и Data Science
•    Оптимизация производительности хранилищ и процессов обработки данных
•    Обеспечение качества, консистентности и доступности данных
•    Участие в проектировании архитектуры хранилищ (DWH, Data Lake)
•    Настройка мониторинга, алертов и логирования для процессов загрузки данных
•    Работа с разработчиками, аналитиками, ML-инженерами и заказчиками данных
•    Поддержка CI/CD пайплайнов для компонентов data-инфраструктуры


Требования:
•    Уверенное знание Python и инструментов работы с данными: pandas, SQLAlchemy, requests и др.
•    Глубокие знания SQL, опыт работы с реляционными и колонковыми БД (PostgreSQL, ClickHouse, Snowflake и др.)
•    Опыт работы с API (REST/GraphQL), файловыми источниками (CSV, XLSX, JSON, XML)
•    Опыт работы с системами оркестрации данных: Apache Airflow, Prefect или аналогами
•    Навыки построения архитектуры потоков данных, обработки больших объемов
•    Опыт работы с Docker, Git, CI/CD (GitLab CI, Jenkins и др.)
•    Понимание принципов построения DWH и Data Lake, знание подходов к моделированию данных (star/snowflake)
•    Опыт настройки мониторинга процессов (Prometheus, Grafana, логирование)
•    Понимание основ безопасности данных, управление доступом
•    Английский — на уровне чтения и написания технической документации
•    Python: pandas, requests, SQLAlchemy, PySpark (желательно)
•    СУБД: PostgreSQL, MySQL, ClickHouse, MS SQL, Snowflake, BigQuery (по проекту)
•    Оркестрация: Apache Airflow, Prefect, Luigi
•    Интеграция: REST API, FTP/SFTP, очереди (Kafka, RabbitMQ — желательно)
•    Контейнеризация и автоматизация: Docker, Git, GitLab CI, Jenkins
•    Мониторинг: Prometheus, Grafana, ELK/EFK стек
•    Linux/Unix, bash, crontab
•    BI и аналитика: понимание требований к структуре витрин данных (в связке с Power BI, Tableau, Qlik и др.)
Опыт работы не менее 2-х лет

Условия:
- рабочий график c 09:00 до 18:30

- медицинская страховка

- развозка

Необходимые степени образования

• Бакалавр