Comment l'AQ dans la gestion des entrepôts de données a évolué. Partie 2

Dans l'article précédent, j'ai décrit les problèmes que nous avons rencontrés au tout début de la formation des processus d'assurance qualité dans notre référentiel, ainsi que les premières étapes pour les résoudre. Dans cet article, je vais vous dire comment nous avons traité les problèmes restants, quels outils nous avons utilisés et quels sont nos plans.

Alors allons-y!

, :

• .

  
  
  
  
  

• .

  
  
  
  
  

• .

  
  
  
  
  

• .

  
  
  
  
  

• .

  
  
  
  
  

, , flow.

(vial, live test)

vial live — ETL-. , test- , vial. , vial , - test.

: .

: , .

:

• ;

  
  
  
  
  

• test - .

  
  
  
  
  

test?

-, test . , . , , , - , , ETL- . .

-, vial . , ( ) vial prod. test.

, test’ .

test flow ?

, :

• ;

  
  
  
  
  

• ;

  
  
  
  
  

• .

  
  
  
  
  

, .

QA- / - . ( ).

, - - . test- , . .

, .

, . . .

, .

, , , , .

— -, , QA-, , , .

?

• .

  
  
  
  
  

• .

  
  
  
  
  

• .

  
  
  
  
  

• .

  
  
  
  
  

• .

  
  
  
  
  

• .

  
  
  
  
  

. , , . , .

— , .

, — , vial- - .

20:30, . , Jira «». , . .

QA ( , , ) .

vial , . slack-.

, ! .

, :

• ;

  
  
  
  
  

• .

  
  
  
  
  

, . . .

, ETL- , ETL- , .

.

Meta-review

SAS Data Integration Studio. SAS- — . , SAS- , .

, , , . , GP, . .

Package-review

— VCS -, , , , .

Package-review -. , , , , , , . package-review -, , .

Diff-review

python-, diff-.

Log-review

.

, . python + pytest , :

• .

  
  
  
  
  

• , .

  
  
  
  
  

• Allure.

  
  
  
  
  

: . , ETL- , . : .

?

• Static — , ETL-.

  
  
  
  
  

• BI — SAP BO .

  
  
  
  
  

• — ETL- .

  
  
  
  
  

• Work — / , .

  
  
  
  
  

.

, :

• .

  
  
  
  
  

• .

  
  
  
  
  

• .

  
  
  
  
  

. ?

• MG ( ), , .

  
  
  
  
  

• vial, .

  
  
  
  
  

, ( DB- ), — - .

:

• .

  
  
  
  
  

• 80—90%.

  
  
  
  
  

• .

  
  
  
  
  

, , BI , .

, python, SQL-, .

?

• ddl(‘_’) — DDL- , .

  
  
  
  
  

• profile(‘_’) — ( , . .).

  
  
  
  
  

• dq_check(‘_’, ‘’) — , NULL , .

  
  
  
  
  

• compare_(‘1’, ‘2’, ‘’) — , .

  
  
  
  
  

Compare() , , .

, (12 987 767 234 ) , order_id 9 458 234 .

ETL- — , — .

compare() . : , ( ).

- Allure

Allure - , , , , . , vial, -.

, . , . : , . .

python, QA- , .

. , — .

QA-, . . , .

flow.

:

• — vial .

  
  
  
  
  

• — . , .

  
  
  
  
  

• — vial/live, live — .

  
  
  
  
  

• — .

  
  
  
  
  

• ( , ) — , .

  
  
  
  
  

, , , — .

, — QA.

, .

?

• QA.

  
  
  
  
  

• QA — QA SRE.

  
  
  
  
  

• .

  
  
  
  
  

• .

  
  
  
  
  

vial, . , .

, , SQL- ( ), ETL-, .

, . QA .

, , .

: . .

DWH , .

:

• , : , / , , . .

  
  
  
  
  

• :  , , . .

  
  
  
  
  

• , .

  
  
  
  
  

, .

, QA , . , . .

, !