J'ai déjà travaillé en tant qu'ingénieur de données dans une startup. Il a grandi rapidement et à un moment donné, il a décidé d'acheter une grande entreprise. Il y avait plus d'une centaine d'employés là -bas - il s'est avéré que presque tous venaient d'Inde. Alors que nos développeurs bricolaient un code exotique qui ne pouvait pas être déchiffré à la fois, le service de surveillance indien a attiré mon attention.
Pour surveiller le réseau et les serveurs, vous pouvez utiliser divers logiciels. L'essentiel est d'être sûr: si quelque chose ne va pas, une alerte fonctionnera. Vous verrez une notification et aurez le temps de tout réparer. Ils avaient également leur propre idée du suivi. Imaginez plusieurs salles avec des tables, des chaises et d'immenses plasmas aux murs, près de deux douzaines de personnes sont assises à l'intérieur. Sur chaque moniteur, des graphiques multicolores sont affichés et des morceaux de papier avec des numéros de téléphone sont collés à côté.
Le travail de ces vingt personnes était de s'asseoir et de regarder les graphiques, et si la ligne s'avérait soudainement plus haute que l'autocollant collé à côté, appelez le numéro de téléphone qui y est écrit et sonnez l'alarme. Ici, ils se sont assis et ont regardé sans s'arrêter.
L'achat de l'entreprise était peu coûteux, mais le maintien d'une telle infrastructure coûtait de l'argent exorbitant. Les hindous ont utilisé la chère Vertica, où, en plus de payer pour le matériel, ils devaient également déboucler une licence. Nous avons décidé d'essayer de passer à ClickHouse. C'est pratiquement un analogue libre de Vertica. Les deux produits fonctionnent sur un principe similaire: un SGBD en colonne avec partitionnement, avec partitionnement des données.
Et c'Ă©tait une autre aventure.
Fonction ClickHouse killer - bien sûr, économiser de l'argent
, . ClickHouse . ClickHouse, , (, PostgreSQL) .
ClickHouse , : DoubleDelta ! ClickHouse , MergeTree.
, , HDFS , ClickHouse 700 , . , «» SQL- - ClickHouse, , , .
— . , , ClickHouse «» . : TSBS , , — . — http- , Rest .
ClickHouse , , , , . , . — , , . .
, , , ?
, , , .
. -, , . , , , , . SDK . PHP JSON , MySQL. , — .
( ), . - Hadoop, HDFS . . : JSON-, Hive. .
Hive, , . JSON-. HDFS Hadoop - . . , , . ! , , — . . , , , Spark , . , , , , RDD .
, - - . HDFS , — .
, . , , , , Java, - . Scala, , !
ClickHouse. , C++. , , , . Scala, TCP, Native , .
— HDFS. Kafka, , Kafka ClickHouse. HDFS , : HDFS .
- ClickHouse. , , .
ClickHouse — ,
, ClickHouse production-ready , , , , DWH .
, , « » - Hive MySQL, ClickHouse – - , - JOIN - ..
, , , . , . , – , .
, . , , .
, UUID, :
```
SELECT * FROM db PREWHERE uuid != '00000000-0000-0000-0000-000000000000'
```
segfault.
. -! , GitHub, Issues, .
, ClickHouse
Hive , . Tabix. , ClickHouse . . Redash - ClickHouse.
Redshift. - ClickHouse Redshift (, , SQL ). — , Redshift, ClickHouse. , Redshift — 30 . ClickHouse Redash.
, ClickHouse Tableau 70 !
Tableau — . , ClickHouse . PostgreSQL. - , PostgreSQL . ClickHouse PostgreSQL Tableau! . PostgreSQL. .
. Tableau — , , SQL , . . 70 .
Tableau . , ClickHouse . . , Tableau - ClickHouse. !
Redash Tableau — . , ClickHouse — . , - , Tableau.
ClickHouse — . , . .
, , — . , , ClickHouse.
, - , . — Vertica Redshift .