Construire une infrastructure de traçage distribuée Netflix

Pour les futurs étudiants du cours «Highload Architect» et toutes les personnes intéressées, nous avons préparé la traduction d'un article intéressant.



Nous vous invitons également à regarder la leçon ouverte
"Modèles de mise à l'échelle horizontale des stockages".










Notre groupe -  Kevin LewNarayanan ArunachalamElizabeth CarrettoDustin Haffner , Andrey Ushakov,  Seth KatzGreg BurrellRam Whiteheilling (Ram Vaithilingam)Mike Smith  et  Maulik Pandey





«@Netflixhelps  " " ?» — Netflix Twitter





, , — , . . Edgar, . , , Edgar.





:

Edgar , Netflix,    , - . , () Netflix, (CDN) . , . , . .





, , , . , . Edgar — , .





Figure 1. Dépannage du crash de session Edgar
1. Edgar

Edgar, , . , , Java- . 2017 , Open-Tracing Open-Zipkin, , , Netflix.





Open-Zipkin, Java Spring Boot.  Mantis  , Cassandra. : , . , , . .





: ?

, . , , . . , , , .





. - .   HTTP B3  Open-Zipkin. , , , Java Node, ( paved road). legacy-, , Spring Boot. « », (Python, NodeJS, Ruby on Rails .), paved road.  ,   .





, , . Edgar . , Edgar . , , .





: ?

, , , , . , , , . , , , .





, , , . , .





( ).   , 100 % , . , . , , . - . .





 





Mantis — Netflix. Mantis , , backpressure. Mantis   Mantis Publish. , . , . Mantis . Mantis  Raven    Mantis (MQL). , .





Elasticsearch: , . , . - Elasticsearch, . , Elasticsearch . - , .  Cassandra  : . Cassandra , .





Cassandra. , . ,    . , :





  1.  Elastic Block Store (EBS) EC2 SSD.





  2. , .





  3. , .





Cassandra, EC2 SSD. EBS Elastic SSD , AWS EBS EC2. , Cassandra . 2019 Cloud Database Engineering (CDE) EBS EBS Elastic.





Time Window Compaction Strategy (TWCS, « ») Cassandra SSTable, - EBS. , , SSTable , . , Zstd Cassandra . Cassandra 71 % 35 , .





, Edgar 1 % . , , , , . Mantis . , Edgar. , , , , , . 20 % . , .





, . Edgar 10 . . , , . , Cassandra Cassandra S3.  Cassandra, , , S3.





Tableau 1. Chronologie de l'optimisation du stockage
1.

Edgar, .









,  Telltale  Netflix. Telltale -  Atlas. .









- , -    (FIT).









, ,     . , , AWS.





A-/B-





data science  A-/B-  , A/B.





?

Netflix . Edgar :





  • . , , .





  • , Netflix .





  • , , , .





, Edgar , « " " ?». , Netflix , « »!





, . ,   .






"Highload Architect".





" ".












All Articles