Aujourd'hui, les bases de données de la classe Massive Parallel Processing sont la norme de l'industrie pour stocker des Big Data et résoudre divers problèmes analytiques basés sur eux.
Les cas d'utilisation des bases de données mpp sont variés: ils peuvent être à la fois un «bourreau de travail» de la BI d'entreprise et un outil pour centraliser les données de centaines de sources dans un seul DWH, et même utilisés pour une interaction «à chaud» avec des modèles ML travaillant un environnement productif.
Cette classe de technologies est un élément nécessaire dans la boîte à outils d'un ingénieur de données moderne.
Dans une leçon de démonstration, nous analyserons en détail ce qu'est une base de données mpp, quelles solutions sont sur le marché aujourd'hui, et nous plongerons même dans un exemple pratique d'utilisation de l'un des systèmes mpp les plus innovants aujourd'hui: ClickHouse.
Nous invitons tout le monde à participer à la leçon de démonstration "Introduction aux bases de données MPP en utilisant ClickHouse comme exemple".
IT- . , , , . , , , , , .
. ( ) , ( ). , , , SQL-, , , — data science , ..
, , , , . , , 20 , . , .
…
, . , !
, - , . Gartner, 2019 66 , 24% — — . Pitchbook, 30 5 8 35 .
, 2015-2020 .
: , , , a16z, , , , . , a16z, : https://a16z.com/investments/.
. , Linkedin 2019 . NewVantage Partners 60% Fortune 1000 , 12% 2012 , McKinsey .
, ( ) - — , .
- , . , , . , .
, : () , () , .
:
Unified Architecture for Data Infrastructure
: (OLTP), SaaS- . , .
:
— , . . - , — .
, .
, AI/ML ?
: - ( ) , ( ).
. (data warehouse). -, SQL ( Python ). (data lake) . , , , . , Java/Scala, Python, R SQL.
, ( ). , , — , , , ACID-, SQL . .
: ? ? , - . , - , .
, , , - , SaaS . , . (, ETL-) .
, . ( ) .
, «» (blueprints) — , , , , .
. -, . , , , . AI ML .
1: -
- - - , , .
. , .
, , SQL ( Python) .
, , . , , data science, / .
2:
, , , Hadoop-
, .
, .
-, , AI/ML, , / , ( , ) (Java/Scala, Python, SQL).
, , , . , - , .
3: .
, , .
, , . , .
, - (. . ), .
, , , / . , , , , - .
. . , -, , , , . , .
, , , , , , , .
- "Data Engineer".
« MPP- ClickHouse».