Qu'est-ce que la DBT et pourquoi avez-vous besoin d'analyses marketing

Tôt ou tard, l'analyste est confronté au problème de l'organisation des données. Il y en a de plus en plus, la structure n'est plus transparente et les mêmes requêtes SQL doivent être réécrites plusieurs fois. Pour résoudre ce problème, vous pouvez utiliser dbt - un outil qui ouvre une nouvelle approche de la transformation et de la modélisation des données. Sous la coupe se trouve une traduction de l'excellent article de David Crewitt sur ce qu'est la dbt et comment elle aide les analystes à faciliter leur travail.

dbt (data build tool) est un framework open source pour exécuter, tester et documenter des requêtes SQL qui apporte un élément d'ingénierie logicielle au processus d'analyse de données.

C'est un excellent élément de la boîte à outils paresseux pour vous aider à ne jamais vous répéter lors de l'analyse des données.

Remplacement d'une requête enregistrée

Chaque requête SQL mérite un bon accueil. Dans dbt, les requêtes SQL sont structurées et organisées dans des dossiers de projet, de sorte que tous les membres de l'équipe savent toujours où les trouver:

Chaque fois que vous devez exécuter des requêtes, vous utilisez la commande dbt run.

Cette commande prend une collection de modèles SQL dans le projet dbt et les met à jour dans la banque de données.

Simple mais efficace.

Cela signifie que vous n'avez plus besoin d'enregistrer des fragments de requêtes SQL sur votre bureau ou ailleurs, comme un coffre au trésor.

— . - , .

dbt — , .

ref(‘ ‘)

dbt * * SQL-, {{ ref(‘model name’) }}.

:

, . dbt , , :

• /admin

  
  
  
  
  

• /base

  
  
  
  
  

• /join /

  
  
  
  
  

• /math (, ) ( . .)

  
  
  
  
  

• /visualization + , .

  
  
  
  
  

, .

« Google Analytics?» 

base -> google-analytics.

« ?» 

Math -> cohort-analysis.

SQL-. dbt — Monster Queries™, .

SQL

dbt SQL- : + JINJA.

SQL- .

, CASE 15 :

CASE WHEN x = y THEN z

   WHEN 2x = 2y THEN 2z

--… .

— , :

dbt SQL .

dbt dbt_utils, .

, CIFL :

• union_relations

  
  
  
  
  

• get_column_values

  
  
  
  
  

JINJA

, : FOR, IF-THEN . .

dbt SQL-, JINJA.

, SQL- , .

, Google Analytics :

• 1 №2 №9.

  
  
  
  
  

• 2 №4 №11.

  
  
  
  
  

, « » .

dbt :

dbt , JINJA:

, , , , . «» .

dbt + Git

dbt + Git . «Pull Requests» «Issues». SQL- Slack/Notion/email.

:

• SQL- , . — .

  
  
  
  
  

• , . , .

  
  
  
  
  

• SQL , .

  
  
  
  
  

SQL-

« ?» – . 

dbt .

Fishtown Analytics (, dbt) dbt Cloud, hosted dbt .

dbt Cloud , .

, — $50 .

«»

« ?» 

« ?»

— . :

, .

, , , , 100% , , .

, — , , , .

, : , Google BigQuery Google Data Studio.

dbt :

• `dbt docs` , SQL .

  
  
  
  
  

• dbt + .yml .

  
  
  
  
  

BigQuery:

Data Studio:

(Snowflake . .) (Looker . .) . , .

?

, , . , , .

dbt .

, - , dbt . JOIN , dbt .

, SQL- , dbt .

— BigQuery, Snowflake PostgreSQL —  , SQL. BigQuery Snowflake Redshift BigQuery, SQL, .

dbt ! . dbt . dbt , ( , , MS SQL).

CIFL , , , .

dbt

Si vous êtes prêt à vous attaquer à la mise en œuvre de la dbt dans votre équipe, les éléments suivants peuvent vous aider:

• Cours gratuit " Premiers pas avec BigQuery SQL ", qui comprend une introduction à la modélisation de données avec dbt.

  
  
  
  
  

• Le cours Build Your Data Agency récemment lancé pour une plongée plus approfondie dans l'analyse de données basée sur la dbt.