Base de données. Tendances mondiales en Russie

Cet article ne répond pas à de nombreuses questions sur les bases de données (DB) et les systèmes de gestion de bases de données (SGBD). En tant qu'auteur, j'exprime ma propre opinion sur les tendances, en essayant de m'appuyer sur des indicateurs impartiaux, des statistiques, etc., mais en citant ma propre expérience comme exemple. Je ne suis un représentant engagé d'aucune entreprise et j'exprime mon point de vue sur la base de mon expérience de plus de 25 ans de travail avec différents SGBD, dont un que j'ai créé de mes propres mains. Il n'y a pas tellement de programmeurs et d'architectes expérimentés qui connaissent tous les termes, les technologies, les pièges et la direction du mouvement. Le sujet est vraiment énorme, de sorte que même le niveau supérieur d'information ne peut pas être divulgué dans le cadre d'un article. À moins que quelqu'un ne trouve son SGBD préféré ou son incroyable avantage à mentionner,puis je vous demande d'indiquer dans les commentaires et de compléter ainsi le tableau d'ensemble, ce qui aidera les autres à mieux comprendre et comprendre le sujet. Aller!

SGBD Open Source vs SGBD commercial

 Pour commencer, je vais donner un graphique du site, db-engines.com, à mon avis, il est bon pour suivre les tendances des bases de données. C'est ce graphique qui a ajouté l'envie d'écrire un article sur l'état actuel des choses. Lorsque nous disons l'expression «base de données», en fait, nous entendons souvent un système de gestion de base de données spécifique (SGBD), donc si le texte contient une base de données au lieu d'un SGBD, cela est dû à une telle habitude. 

 

SGBD Open Source - Les systèmes de gestion de base de données open source ont rattrapé les SGBD commerciaux à source fermée. Open Source 49,98% contre 50,02% pour le commercial. La fin de 2020 est le moment où il sera possible de dire que l'open source n'est pas moins populaire. Comme vous pouvez le voir, cette situation ne s'est pas produite soudainement. Le calcul sur le graphique n'est pas dans un rapport numérique, mais en points, qui sont gagnés par certains systèmes.

  . Microsoft Access , COBOL , . , IBM DB2 . 10 – 75% . 10 .

Open Source , , Oracle, MS SQL, IBM DB2 , . . enterprise licenses ( ) . , 4 16 - 64 .

MS SQL - 439 936$

Oracle - 1 368 000$

, , , , , . .

2019 2020 AMD , EPYC, , , . AMD 64 - . ? . . AMD , Oracle, Microsoft . Microsoft SQL Server Linux, . IBM DB2 .

( « ») , , Open Source . .

, . , :  (Microsoft), (Oracle), . 10 Forbes , (Amazon RDS), (Google Bigtable).

open source . , , , . , , , , , , . , .

MySQL open source 1 .$,  Sun Microsystem, Oracle. MySQL MariaDB. , . MariaDB 12 .

, , , , , , . open source , , Facebook c MySQL. open source , . 10 SQLite -   . -, .

: , 70-80 , Oracle, , , , .. .

, , . () ( ), . , – , , . open source. ClickHouse, Tarantool, PostgreSQL .., . . , , , « ».

open source . , Oracle . « » Open Source.   , , PostgreSQL, MySQL, SQLite, MongoDB .

, open source commercial, online , , .. online vs. offline.

online offline

2 , - , - . .

, , , ( ) ( ), Windows . WISA (Windows, IIS, MS SQL, ASP.Net). WISA, , StackOverflow. , LAMP (Linux Apache MySQL PHP). , , Windows . .

 

 

, . , , .. ( ) , ERP, CRM SAP, Microsoft Dynamics NAV AX, 1C . , , Oracle, MS SQL, IBM DB2.

10 , 2 Microsoft Alphabet (Google). . . , .. 2020 .

  . , , , . 113 . 20. open source , . - () , open source. , , .

- online . , .

, . RDBMS – . ¼ , .

 

 

,    MS SQL(Oracle) MongoDB, Redis, MySQL, ClickHouse, ElasticSearch ..

:

Relational: , . 2- , . . 2 – (Key). , , SQL (Structured Query Language), . . 2- .

Document stores:

, . . , . MongoDB – JSON (Java Script Object Notation). BSON (Binary JSON), , .

( )

 

.

 

 

Key-Value : NoSQL - , - . , , . – Redis. , . , . , , . , 1 IP . IP, +1. , (). TTL X .

 

Search Engines: – . c ID (, , ..) , , , . . , , , , , , , .     ElasticSearch , ELK (. ) ElasticSearch+Logstash+Kibana , , .

Wide column stores: Key-Value . , . .

– Cassandra, HBase.

Graph : , , . () (). .

(), - () . ,  —  , . 18 , . - Neo4j.

Columnstore

db-engines , , . , . , , . , . ClickHouse, Vertica. ClickHouse.

ClickHouse . , .

 

Multi-model databases

               , . , , . «multi-model». multi-model NoSQL . - , .

SQL vs NoSQL

               NoSQL 10 2009 « ». , + SQL NoSQL, , . . , , . , , , , , , , .. . , , , , , ..

               , , 10 .

 

  , 0- 1 Gb , . 100-200 .

SQL 10 100 . , , , , , . , . , .

, NoSQL , , SQL, . , NoSQL   - , , .

NoSQL . .

A SQL – Structured Query Language – ? 1970- , , . , (features - ), SQL, , ,   SQL. SQL , . , NoSQL , SQL. , MongoDB Studio3T, SQL MongoDB, MongoDB SQL . ClickHouse Tarantool ( ) SQL . NoSQL SQL, , join-, , NULL ..

Cloud DBs vs DBs

. . . , , . , – . , , , .

Gartner 5 2 .

  BPaaS IaaS. . AWS , Microsoft , Alibaba , .

   (DBaaS) , , .

:

1. , , , . , CPU, RAM, SSD(HDD) , .

   
   
   
   
   

2. , . . , , , , , , ..

   
   
   
   
   

3. , , . , , . , , , , Mb. AWS Azure . NASA, , . .

   
   
   
   
   

4. . , , . .   , , . Gb, , .

   
   
   
   
   

5. , - , . , . .

   
   
   
   
   

6.   , , . , Alibaba , 12 - , .

   
   
   
   
   

7. , ,   IP . .

   
   
   
   
   

8. . , . .

   
   
   
   
   

., SberCloud, . , , . , Microsoft, Google, .

: , , , . c .

, , , . . .

, , .

OLTP vs OLAP

Online Transaction Processing (OLTP): , , , .. . , . OLTP – . , OLTP.

, Online Analytical Processing (OLAP). OLAP , . , , , . OLAP , , . Data Scientist. , . SQL, Python, R, , ..

OLAP OLTP, . OLAP , . OLAP , , SIMD (single instruction, multiple data) , 1 , .

, . , , . , , NVidia Tesla.

SSD vs HDD vs Storage vs Tape vs Other

.

  2020 , SSD HDD. , . , , , . . SSD, HDD . HDD , . 1000 , HDD. OLTP HDD. SSD c 6000 IOPS ( ), NVME , , .

HDD OLAP , , . 1 – . HDD SSD 1 .

SSD HDD . . SSD HDD, ,   , SLC MLC, , TLC QLC, . . SSD 1Tb 1000$ - . , , , . SSD HDD, . SSD .

 

- SSD – 2.5 , PCI-X , U.2– M.2, . SSD – NVME.

Storage – () - , . , . – , 10 . . – , . . , . AllFlash – HDD SSD.

EMC DELL . Huawei . , .

Intel Optane (3D Xpoint) – , , , SSD. - . SSD+NVME /. Optane SSD, RAID .

RAID – , . . , RAID . OLTP RAID10.

Tape – . , 2020 . , . , . , , . , .

  

– , . , , .., . . . .

: Horizontal scaling vs Vertical Scaling.

, 10-15 . 2000-x Oracle, Microsoft, IBM , , Web API, , 2000-x   , ( ) . CPU, , , .. . , .

, , , . , , . , , .

, . : , , . . , . , . , . . , hash , . ().

 

, 8 , , 4 , 2 , . , 2 8 10 . : , .. 2-3 , . .

2 2 , , , , ,   .

: , , , . , .

- High Availability.  Master-master, master-slave.

               High Availability– . .   . , , . : , , , ..

                 , , , RAID . , , , , , .

  online , . . – , , .

. , , -. Slave- , . Master-Slave.

              

 

               , . , , .  , , master , . Master-Master. master slave .

 

 

 

, .

, , , . , , . master , , slave master, . , , . , , . , .

. . , .

Online maintenance - online alter

24/7/365 – , 24 , 7 365 . (maintenance). , , , , . , , , , , . , , , .

               . , ? . , , , . , , . . , .

  , . , , , , . , , , , , . – , . , .

, , % . .

: – SQL, , , , , , product-    ..

  , , , DataGrip JetBrains ( Kotlin, ReSharper, GoLand ..) . , .

               , . , - , . , , , . . , . , , , .

, . , , , , , SQL . , - . , . , Flashback Data Archive, Temporal history, Change Tracking, Data Audit ..

, , . , , , , , , , , . 

-

, . , . , , , , , . , .

-  - , . -. , (, -) - , , , .. , . , , , , , , .. - , -.

, - , .. .

 

              

  , , ClickHouse . - , .

JSON

  NuGet- Micrsoft Visual Studio C# - JSON (JavaScript Object Notation). , , Microsoft, XML. JSON , , JSON   .

In Memory 

RAM . , . , . . -, .

- In-Memory , , ,  Tarantool.

, . , .. OLAP . , , , , CPU.   , .

(temporary)

, , . , . , , , . , , .

MapReduce

Google . Map – Reduce – . Apache Hadoop Spark – , HDFS . Hive, SQL. .

               , . , . , .. Hive , .

. ? , , . (spatial index) R-tree .

Graph data

. .

. . - , ,   , . , - .

   , . , . , . , , , , , .. . , , . - . , . . (), - .

GPU, NPU (Neural Processing Unit), Google TPU (Tensor Processing Unit)

  - . , GPU NPU , , GPU NPU , ( ) . . DPU (Data Processing Unit) – , . .

Community

  , , . , – . . StackOverflow.com , . . KnowledgeBase.

, , , , . % - (holy war - ). , . . Oracle IBM DB2 – .

  : . OpenSource Commercial , . Online . . SQL. -. , . , .   , .