Clever Geek Handbook

"Comment l'assurance qualité dans la gestion des entrepÎts de données a évolué"

Partie 1. Le passé. Points tournants

DWH (Data Warehouse, , -, ) , . , , . .





Tinkoff.ru . , . , . , , QA.





, :





  • ( Data Warehouse, DWH) — - , - .





  • ( ) — (VCS), , .





. , .





Figure 1. Le passé: le travail manuel ennoblit
1. :

, , .





flow :





  • ;





  • ETL-;





  • QA-.





flow — 2.





, :





  • .





  • .





  • .





  • .





  • .





Figure 2. RÎles fonctionnels dans DWH (SyA - analyste de systÚmes, DEV - développeur, QA - ingénieur de test)
2. DWH (SyA — , DEV — , QA — )

.





ETL- — (, ), (, , , . .) .





, ( 3):





  • ;





  • .





Figure 3. Composants du processus ETL
3. ETL-

:





  • SAS DIS ETL-.





  • SQL ( python) .





  • . , , .





  • ( 4) QA-.





VCS QA.





Figure 4. Exemple de contenu de l'emballage
4.

. , : - , , .





, : , . ?





, . .





. - , , — , ETL-.





, :





  • , .





  • .





5 , . QA , , , . , , , ETL-.





Figure 5. Transfert de la tĂąche vers le circuit de test
5.

, :





  • .





  • , , .





  • — , .





  • .





  • , , .





  • .





  • — .





, , , . . .





, SAS, SAS Data Integration Studio (SAS DIS). ( , ETL-, . .) SAS DIS SAS- . Greenplum SAS. , , , «» "DWH".





. SAS DIS . SAS DIS , (, , . .) . , , , , . .





, . , . .





: , , .





— .





, , - ( , . .) .





, QA- , . - , . . .





, — . .





- , : .





, .





. QA- :





  • NULL ;





  • DDL- ;





  • ;





  • ;





  • , , .





, ( , ETL-), , . ETL- . .





, :





  • ;





  • ;





  • .





:





  • ;





  • ;





  • .





, . ?





Figure 6. Points de basculement - événements marquants de l'assurance qualité
6. — QA

, , — , .





?





QA-. - , python- — !





, (dev/test/prod), :





  • SSH- ;





  • , .





, .





— .





:





  • — , . testing done. 22:00, .





  • — , , 23:00. .





  • — , . .





, .





, , . , , — vial.





Vial

, , , . ? : , ( ) . , .





, , vial-.





— .





Vial ( «») — , . , .





Figure 7. Comparaison du flacon et du test
7. vial test

, 7: preXXXXX (pre — , XXXXX — Jira) .





(Source 8) ETL-. .





Figure 8. Comment le flacon est formé
8. vial

ETL- (Target 8) :





  • , , — today.





  • — yesterday.





?





, .





ETL- . :





  • ETL- .





  • ETL-, Target(yesterday) 9, ( ETL-, ).





  • ETL- , , — Target(today).





ETL- : ( ) ( ETL- ). , , , ETL- .





ETL- , .





Figure 9. Le mécanisme de mise à jour du référentiel en production
9.

. , , . , .





Figure 10. Principe de formation du flacon
10. vial

ETL- — 10. Target(yesterday)- .





ETL- .





, . , ETL- .





. Target(today)- .





, :





  • — ETL- . - , , ETL- .





  • , , .





  • , .





, : , , . , ( 11).





Figure 11. RĂ©gression
11.

vial- 12.





Figure 12. Concept général du flacon
12. vial

vial?





-, . , , — ! , .





-, , QA .





, — , ! Live-- ?





, ETL- . , ETL- , , . , vial-, , , .





live.





Live

— , vial, ETL-. , , , ETL- , , — SQL- .





Live , QA-.





, . (test), , . (, ) .





vial, — live. , test .





?





Test

Test .





, : ETL- , , .





( ETL- ), . . , .





. python. , .





. . , .





.





, , . , .





- :





  • .





  • .





  • .





  • ( , ).





  • — test.





: , . .





, !







More articles:


All Articles