🔪 🤲🏻 🧕🏾 Comment charger rapidement une grande table dans Apache Ignite via l'API Key-Value 👶 👨🏾‍🍳 🤞🏽

Il y a quelque temps, la plateforme Apache Ignite est apparue à l'horizon et a commencé à gagner en popularité. Le calcul en mémoire est la vitesse, ce qui signifie que la vitesse doit être assurée à toutes les étapes du travail, en particulier lors du chargement des données.

Sous la coupe se trouve une description d'un moyen de charger rapidement des données d'une table relationnelle dans un cluster Apache Ignite distribué. Le prétraitement de l'ensemble de résultats de la requête SQL sur le nœud client du cluster et la distribution des données dans le cluster à l'aide de la tâche de réduction de mappage sont décrits. Décrit les caches et les tables relationnelles associées, montre comment créer un objet personnalisé à partir d'une ligne de table et comment utiliser ComputeTaskAdapter pour placer rapidement les objets créés. Tout le code peut être vu dans son intégralité dans le référentiel FastDataLoad .

Histoire du problème

Ce texte est une traduction en russe de mon article sur le blog In-Memory Computing sur le site GridGain.

Ainsi, une certaine entreprise décide d'accélérer une application lente en déplaçant l'informatique vers un cluster en mémoire. Les données initiales pour les calculs sont en MS SQL; le résultat des calculs doit y être mis. Le cluster est distribué, car il y a déjà beaucoup de données, les performances de l'application sont à la limite et le volume de données augmente. Des délais stricts sont fixés.

Avant d'écrire du code rapide pour traiter les données, les données doivent être chargées rapidement. Une recherche effrénée sur le Web révèle un manque flagrant d'exemples de code pouvant évoluer vers des tables de dizaines ou de centaines de millions de lignes. Exemples que vous pouvez télécharger, compiler et parcourir les étapes de débogage. C'est d'une part.

, Apache Ignite / GridGain, . , . " ?", — , .

, .

(World Database)

, data collocation, . world.sql Apache Ignite.

CSV , — SQL :

countryCache — country.csv;
cityCache — city.csv;
countryLanguageCache — countryLanguage.csv.

countryCache country.csv. countryCache — code, — String, — Country, (name, continent, region).

, — , . Country , . org.h2.tools.Csv, CSV java.sql.ResultSet. Apache Ignite , SQL H2.

    // define countryCache
    IgniteCache<String,Country> cache = ignite.cache("countryCache");

    try (ResultSet rs = new Csv().read(csvFileName, null, null)) {
     while (rs.next()) {
      String code = rs.getString("Code");
      String name = rs.getString("Name");
      String continent = rs.getString("Continent");
      Country country = new Country(code,name,continent);
      cache.put(code,country);
     }
    }

. , , . - .

, . , .

Apache Ignite — -. , PARTITIONED - (partition) . ; , . -, affinity function, , .

ResultSet . , . .

, :

HashMap partition_number -> key -> Value
```
Map<Integer, Map<String, Country>> result = new HashMap<>();
```

affinity function partition_number. cache.put() - HashMap partition_number

try (ResultSet rs = new Csv().read(csvFileName, null, null)) {
 while (rs.next()) {
  String code = rs.getString("Code");
  String name = rs.getString("Name");
  String continent = rs.getString("Continent");
  Country country = new Country(code,name,continent);
  result.computeIfAbsent(affinity.partition(key), k -> new HashMap<>()).put(code,country);
 }
}

ComputeTaskAdapter ComputeJobAdapter. ComputeJobAdapter 1024. , .

ComputeJobAdapter . , .

Compute Task,

, "ComputeTaskAdapter initiates the simplified, in-memory, map-reduce process". ComputeJobAdapter map — , . reduce — .

(RenewLocalCacheJob)

, RenewLocalCacheJob .

targetCache.putAll(addend);

RenewLocalCacheJob partition_number .

(AbstractLoadTask)

( loader) — AbstractLoadTask. . ( ), AbstractLoadTask TargetCacheKeyType. HashMap

    Map<Integer, Map<TargetCacheKeyType, BinaryObject>> result;

countryCache String. . AbstractLoadTask TargetCacheKeyType, BinaryObject. , — .

BinaryObject

— . , JVM, - . class definition , JAR- . Country

    IgniteCache<String, Country> countryCache;

, , classpath ClassNotFound.

. — classpath, :

JAR- ;
classpath ;
;
.

— BinaryObject () . :

IgniteCache<String, BinaryObject> countryCache;

Country BinaryObject (. LoadCountries.java)

Country country = new Country(code, name, .. );    
BinaryObject binCountry = node.binary().toBinary(country);

HashMap, BinaryObject
```
Map<Integer, Map<String, BinaryObject>> result
```

, . , , ClassNotFoundException .

. .

Apache Ignite : .

default-config.xml — . :

GridGain CE Installing Using ZIP Archive. 8.7.10, FastDataLoad , ;

{gridgain}\config default-config.xml

<bean id="grid.cfg" class="org.apache.ignite.configuration.IgniteConfiguration">
    <property name="peerClassLoadingEnabled" value="true"/>
</bean>

, {gridgain}\bin ignite.bat. ; ;

, . ,

[08:40:04] Topology snapshot [ver=2, locNode=d52b1db3, servers=2, clients=0, state=ACTIVE, CPUs=8, offheap=3.2GB, heap=2.0GB]

. , 8.7.25, pom.xml

    <gridgain.version>8.7.25</gridgain.version>

class org.apache.ignite.spi.IgniteSpiException: Local node and remote node have different version numbers (node will not join, Ignite does not support rolling updates, so versions must be exactly the same) [locBuildVer=8.7.25, rmtBuildVer=8.7.10]

, , map-reduce. — JAR-, compute task . Windows, Linux.

: