Обязанности: Проектирование и разработка процессов преобразования данных (ETL) для хранилища данных; Разработка с использованием Airflow, SQL, Python, Spark/PySpark, Scala/Java; Проектирование потоков данных в хранилище (S3, Postgres, Clickhouse, MS SQL) и внутри него; Работа с различными базами, API и платформами данных; Обеспечивать качество разрабатываемых проектов с помощью unit и интеграционных тестов; Практическое применение методологий и навыков оптимизации хранилищ. Чем предстоит заниматься: На основании логической модели данных создать физическую (по DataVault 2) и организовать регулярное наполнение данными; Строить витрину данных для Data Science (Spark на Kubernetes c хранением в S3-совместимое хранилище), Clickhouse, Postgres); Проводить интеграцию с источниками данных (Kafka, СУБД, файлы) c регламентной загрузкой; Доработать продукт для загрузки нескольких сотен тысяч записей из новой системы; Разработать контроли на все интеграции – как по процессу, так и по качеству данных; Распарсить 10 млн. JSON-файлов и представить результаты тестов; Развиваться в части архитектуры и разработки для тестирования и выбора оптимальной реализации дата-продуктов; Проектирование модели данных; Писать оптимальные запросы в БД с учетом индексов и нагрузки на систему. Требования: Высшее образование (Техническое/IT/Математика/Физика); Хорошее знание какой-либо промышленной СУБД, профессиональное владение SQL; Опыт в проектах построения корпоративных хранилищ данных; Опыт проектирования и разработки ETL-процессов; Умение писать и разбираться в коде Python/Java/Scala/Spark/PySpark/Airflow; Вы занимались администрированием/сопровождением ETL. Условия: Много сложных и интересных задач, решение которых приносит пользу миллионам: 40% рынка пользуются нашими кассами, 50% — облачными технологиями, 20% — софтом; Работу в яркой команде, в которой каждый может влиять на процесс и результат; Рост и развитие в среде профессионалов, опыт которых бесценен, и индивидуальные программы обучения от лучших провайдеров рынка; Классный, современный и уютный офис в шаговой доступности от метро «Алексеевская», в котором есть место и для работы, и для отдыха; Удобный график работы: время начала и окончания рабочего дня, возможность удалённой работы несколько дней в неделю вы обсудите с руководителем; В наш пакет ДМС включена стоматология, вызов врача на дом, консультации психолога и полис путешественника, а ещё мы страхуем жизни сотрудников от несчастного случая;
Похожие вакансии