Et un autre service pour vérifier les passeports, ou encore la question est de savoir combien de gigaoctets sont dans un mégaoctet

Il y a quelque temps, il est devenu possible de prêter attention au langage Go et la publication "Passport Control, ou Comment compresser un gigaoctet et demi à 42 Mo" est apparue . L'article décrit brièvement, mais de manière informative, une tâche de test pour développer un service de vérification des numéros de passeport russes pour leur présence dans la liste des passeports invalides. Les principales exigences pour la mise en œuvre sont la rapidité de la vérification et la disponibilité du service.  

Après avoir lu l'article, j'ai décidé moi-même que c'est sur cette tâche pratique que vous pouvez construire votre apprentissage Go. En effet, le problème de la vérification des passeports invalides, bien que raté, est intéressant, et comme les exigences de performance sont ici une priorité, l'implémentation en Go serait tout à fait appropriée ici.

De plus, l'article mentionné ci-dessus aborde les questions d'organisation efficace, du point de vue mémoire, des tableaux de bits (bitmaps). Et ce sujet est assez pertinent et demandé dans diverses solutions appliquées, par exemple sous la forme d'index bitmap pour un SGBD.

En conséquence, le suivant: il y a une envie de regarder le langage Go, qui est nouveau pour lui-même, il y a un problème intéressant sous la forme d'organisation et d'utilisation du bitmap (naturellement dans Go), il y a une tâche pratique sur sur lesquels ces deux objectifs peuvent être élaborés. Si vous êtes intéressé, allez-y.

Quoi en tant que données brutes

La tâche même de vérifier les passeports est construite autour de la liste principale des passeports invalides présentée sur le site Web du  ministère des Affaires intérieures de la Fédération de Russie , où vous pouvez également vérifier manuellement le numéro de passeport. Vous pouvez télécharger la liste complète à partir du site sous forme d'archive compressée de 460 Mo, une fois décompressée, nous obtenons une liste d'environ 1,5 Go, présentée sous la forme d'un seul fichier CSV avec deux colonnes: série et numéro de passeport.

À ce jour, ce fichier CSV contient environ 132 millions de numéros de passeport. Mais le fichier contient également des nombres erronés qui ne peuvent pas être identifiés sans ambiguïté, par exemple, les 4 chiffres d'une série ou les 6 chiffres d'un nombre ne sont pas indiqués, il peut y avoir des séries alphabétiques.   

4- 6- , , , .  , , , .. , .

Go , , .

–

. , . , – . , 10 000 ( 0 9999), 1 000 000 ( 0 999998, .. 000001).  , ( , G), ..     10 000 bitmap, bitmap 15 625 uint64.

, , 1.25 , 10 000 bitmap. , .. . – , 10 000 bitmap 3 300 ( ).

–

– , , bitmap , .  , , , ..15 625 1 000 000 . , . , .  

bitmap – roaring bitmap.

–

, , .  Pilosa.

Pilosa – . Pilosa , , .  – () .

, , , .. Pilosa. , Pilosa, .. (binary matrices).  

Pilosa , Go, «» Go, .  « ».   Pilosa.

  , :

• . - , – Pilosa.

  
  
  
  
  

• http . GET , POST, json.  .

  
  
  
  
  

• .

  
  
  
  
  

• , , ..

  
  
  
  
  

• , , , Docker .

  
  
  
  
  

, . .

. , Go « » , , , , . , , , Go . Go , , , Linux, Mac OS Windows, . , , uint16 uint64.

Go, , , .

, , GitHub.  Go, Go «». roaring bitmap Pilosa , .

, , . , , , , . , - API .   – , , .  . , .. , .  , .

[{
	"series": "8003",
	"number": "011384",
	"status": "non-valid"
}]
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
    

[
   {
        "series":  "4050",
        "number":  "039589"
    },
    {
        "series":  "5203",
        "number":  "257719"
    },
    {
        "series":  "5000",
        "number":  "347024"
    },
    {
        "series":  "2507",
        "number":  "857721"
    },
    {
        "series":  "2507" ,
        "number":  "857728"
    }
]
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
    

i7 7- 16 Gb , Windows Pro WSL2(Windows Subsystem for Linux), Docker Desktop For Windows. , , : Windows, WSL url ApacheBench 1000- , 100 . , Go (benchmark), , .  

  :

• ( );

  
  
  
  
  

• ;

  
  
  
  
  

• .

  
  
  
  
  

bitmap

  1.5 30 , .  , , . 

, «» , 1.25 Gb ( ), 440 . - , .. . , . 

(1000 100 ), , «Time per request» 0.1 ms , , .

, :

• 30 ;

  
  
  
  
  

• 440 ;

  
  
  
  
  

• 0.10 ms.

  
  
  
  
  

, .

roaring bitmap

  1.5 , bitmap. 44 (!) , , , . 0.18ms, , , , .

  roaring bitmap:

, bitmap :

• 90 ;

  
  
  
  
  

• 44 ;

  
  
  
  
  

• 0.18 ms.

  
  
  
  
  

.  , , .. roaring bitmap, 64- C (Croaring).

Pilosa

 Pilosa , .  , .  , Pilosa Windows, , , . , « ».   , Pilosa docker- Windows – .

Pilosa , , .. . 

Pilosa – 1 1000 . 132 .

Pilosa WSL2, .

Pilosa 4 , , , , , , , , .. .

  Pilosa , , , , .. Pilosa bitmap roaring bitmap.

– 0.5 ms .

Pilosa:

• 240 ;

  
  
  
  
  

• ;

  
  
  
  
  

• 0.5 ms.

  
  
  
  
  

, Pilosa , , , .  , (timestamp), Pilosa.

, Go .  . , . – Go .

, - , , Go.

roaring bitmap . bitmap bitmap, roaring bitmap.