Архитектор хранилища

Описание

Обязанности:

- Разработка архитектуры распределенного хранилища
- Проектирование инфраструктуры для обработки больших объёмов структурированных, полуструктурированных и неструктурированных данных.
- Реализация решений для потоковой обработки данных
- Проработка интеграции с внешними системами с учетом специфики текущего или планируемого стека технологии
- Развитие стека технологии для удовлетворения требовании бизнеса
- Оптимизация действующих процессов в целях минимизации затрат
- Настройка процессов ETL/ELT для извлечения, преобразования и загрузки данных.
- Code review и менторство команды разработки

Требования:

• Опыт разработки архитектуры хранилищ данных и озер данных (data lakehouse).
• Знание принципов моделирования данных (Kimball, Inmon, Data Vault).
• Оптимизация архитектуры для обработки больших объемов данных (терабайты/петабайты).
• Опыт работы с S3 как объектным хранилищем для больших данных.
• Знание принципов организации данных (партиционирование, форматы хранения).
• Понимание табличных форматов для озер данных (data lakes) и их применения в озерах данных.
• Знание SQL и оптимизации запросов для высокопроизводительных аналитических вычислений.
• Глубокое понимание экосистемы Hadoop (HDFS, YARN, MapReduce) . Опыт настройки и оптимизации кластеров Hadoop.
• Большой опыт разработки процессов с использованием Spark и PySpark. Оптимизация производительности Spark
• Настройка NiFi для интеграции с S3, Hadoop, Spark и другими системами.
• Уверенное владение Java/Python для работы с Spark и кастомных интеграций.
• Знание инструментов мониторинга (Prometheus, Grafana) и профилирования производительности кластеров.
• Проверка кода на читаемость, производительность, масштабируемость и соответствие стандартам.
• Навыки обучения и наставничества для junior/middle специалистов. Способность объяснять сложные архитектурные концепции простым языком.
• Умение взаимодействовать с бизнес-аналитиками, дата-инженерами и стейкхолдерами для уточнения требований.
• Способность вести команду, принимать решения и защищать архитектурные подходы.
• Минимум 5–7 лет опыта в области больших данных, из них 2–3 года в роли архитектора.
• Английский язык: Уровень не ниже Upper-Intermediate для работы с документацией и международными командами.

Условия:

• Заработная плата и бонусы: конкурентоспособная оплата труда благодаря системе грейдирования, премии ко Дню Независимости и годовой бонус.
• Социальный пакет: ДМС и страхование жизни, мобильная связь и скидки от партнеров.
• Отпуск и отдых: 26 дней отпуска с возможностью взять дополнительные дни при наступлении важных событий.
• Бонусы за рекомендации.
• Рабочие условия: льготные условия на паркинг, свободный стиль одежды (smart casual).
• Обучение и развитие: тренинги, вебинары и доступ к корпоративной библиотеке, четкая система карьерного роста.
• Корпоративная культура: открытая и дружеская рабочая атмосфера, спортивные турниры и активная корпоративная жизнь.
• Инициативы и проекты: возможность участия в социальных проектах, реализация идей в новых проектах группы «Halyk» с использованием современных digital-инструментов.
• Команда: творческая и поддерживающая команда для реализации ваших идей.
• Присоединяйтесь к нам и становитесь частью команды «Halyk»!