Приглашаем тебя на очередной dbt-митап, на котором обсуждаем особенности работы с инструментом и делимся лучшими практиками. Уже три года мы готовим полезные доклады, и этот раз не исключение.
Программа 13 августа, 19:00 (GMT+3)
19:05-19:30
Леонид Кожинов Senior Software Developer, Никита Юрасов, Data Engineer в Toloka AI
dbt в Data Mesh. С любовью о пользователях
Леонид и Никита — авторы активно набирающей популярность интеграции dbt-af. В своём докладе расскажут про жизнь с большими данными в концепции data mesh, опишут свой стек и доступные варианты запуска заданий dbt. И конечно, ожидается честный рассказ про свое детище: его достоинства и недостатки.
Стек: Databricks, Airflow, Airbyte.
Технический уровень: средний.
19:35-20:00
Дмитрий Володин, Data Analytics Team Lead в Trafficstars
Dagster — ядро вашей data platform
Дмитрий представит свой обзорный доклад на оркестратор Dagster — альтернативу Airflow.
Как выглядит путь от извлечения сырого слоя до запуска витрин в dbt, в чём достоинства нового инструмента и главное — в чём недостатки. Стек: Dagster, clickhouse.
Технический уровень: начальный.
20:05-20:30
Павел Рословец, Principal Data Engineer в NXP Semiconductors, ментор, автор курса по dbt at Inzhenerka.Tech
Метаданные dbt как мощный инструмент управления моделями
Если тебе интересно посмотреть внутрь dbt, в частности в работу с метаданными моделей, то определённо стоит послушать доклад Павла. Метаданные можно использовать для управления хранилищем для параметризованных тестов, а ещё их можно отгружать в каталог данных AWS Glue для интеграции dbt с другими приложениями.
Стек: AWS Athena/Trino, Glue, Dagster.
Технический уровень: высокий.
20:35-21:00
Станислав Лысиков, Data Office Head в Space307
Оркестратор для dbt без dbt
По опыту многолетнего использования dbt текущая ситуация с оркестраторами для dbt кажется весьма противоречивой.
Попытка проехать зайцами в инфраструктуру на хайпе dbt начинает искажать сам подход к запуску заданий, скрывая преимущества и подчеркивая недостатки dbt. Станислав поделится своим мнением о том, как не потеряться в разнообразии инструментов.
Стек: Airflow, dbt, vertica, bigquery, spark, QlikSense, redash.
Технический уровень: начальный.
Технический уровень: начальный.