Аутстафф инженеров данных: ETL, ELT, Airflow и dbt
Нужен аутстафф инженеров данных?
Компетенции аутстафф инженеров данных
ETL и ELT
Загрузка и трансформация данных из разных источников.
Оркестрация
Airflow, Dagster — расписание и мониторинг пайплайнов.
dbt
Модели данных, тесты, документация в хранилище.
Хранилища
PostgreSQL, ClickHouse, Greenplum, облачные DWH.
Потоковая обработка
Kafka, Spark — данные в реальном времени.
Качество данных
Проверки, алерты, контроль свежести и полноты.
Технологии инженеров данных
Оркестрация
Apache Airflow, Dagster, Prefect
Трансформации
dbt, SQL, Python, Spark
Хранилища
PostgreSQL, ClickHouse, Snowflake, Yandex Data Proc
Потоки
Kafka, Debezium, Flink