La modélisation des données simplifie considérablement les interactions entre les développeurs, les analystes et les spécialistes du marketing, tout comme le processus de reporting lui-même. Par conséquent, j'ai traduit l'article d' IBM Cloud Education sur la valeur de la modélisation et ajouté moi-même des informations sur la façon de transformer les données pour la modélisation.
La modélisation des données
Découvrez comment la modélisation des données utilise l'abstraction pour représenter et mieux comprendre la nature des données dans un système d'information d'entreprise.
Qu'est-ce que la modélisation des données
La modélisation des données est la création d'une représentation visuelle de l'ensemble du système d'information ou d'une partie de celui-ci. L'objectif est d'illustrer les types de données utilisés et stockés dans le système, les relations entre ces types de données, la manière dont les données sont regroupées et organisées, ainsi que leurs formats et attributs.
Les modèles de données sont construits en fonction des besoins de l'entreprise. Les règles et les exigences du modèle de données sont déterminées à l'avance en fonction des commentaires de l'entreprise, de sorte qu'elles peuvent être incluses dans le développement d'un nouveau système ou adaptées à un système existant.
. - . - . , , , .
. .
— , . - - . , .
, , - . , :
.
.
.
.
-.
, .
. . , .
. : , - . . , (, ), , , . .
. . . agile DevOps-. , . , .
, , -. , , . :
. , , , . .
. , , . , «» , , , .. «» , , .
. , . « » . «», ​​ . (UML).
. , , . () . - , .
. — , () . , , , , . , , .
. — , .
(), .
« » . , . IBM Information Management System (IMS) ​​ 1966 , . , , (XML) ().
IBM . . 1970 . , . . , .
(SQL) . . , .
ER- . ER- , . , ER-, «-» (Entity-Relationship diagram). ER- , (, ).
- - 1990- . «» — . . - , . .
. ER- , , . OLAP.
— «» «». «» ( ) ( ), . «» «», , .
CASE- , , . :
erwin Data Modeler — , IDEF1X, , .
Enterprise Architect — , , . - .
ER/Studio — , . , .
, Open ModelSphere.
, , , , Google BigQuery, Scheduled Queries AppScript. , SQL, Scheduled Queries . , - .
SQL-, , dbt Dataform.
dbt (data build tool) est un framework open source pour exécuter, tester et documenter des requêtes SQL qui apporte un élément d'ingénierie logicielle au processus d'analyse de données. Cela permet d'optimiser le travail avec les requêtes SQL: utilisez des macros et des modèles JINJA pour ne pas répéter les mêmes extraits de code pour la centième fois.
Le principal problème que résolvent les outils spécialisés est de réduire le temps nécessaire au support et aux mises à jour. Cela se fait au détriment de la facilité de débogage.