Qui vit bien en Russie? Comment nous avons recherché la ville la plus verte en utilisant OpenStreetMap et l'API Overpass

Chaque carte a une légende: c'est elle qui dit au lecteur ce qui y est indiqué et comment. Les maisons correspondent à des polygones gris, des routes - segments et courbes, les parcs et les places sont remplis de vert clair et sont décorés d'un pictogramme d'arbre. Et à certaines cartes, ils ajoutent une application utile - une liste de ces routes avec leur longueur, le nombre de parcs, de magasins et de poubelles.



Lorsque nous nous préparions à automatiser le travail des services municipaux locaux, nous avons attiré l'attention sur l'utilisation de la cartographie, que nous avons trouvée comme un outil vraiment puissant et efficace pour résoudre un large éventail de tâches. Sur la carte, vous pouvez afficher des informations à jour sur l'emplacement des objets, les itinéraires de déplacement du matériel de récolte, le transport, un plan de travail et une carte thermique avec les zones à problème et «saines».



L'utilisation de la cartographie en général permet d'accélérer le temps de réaction et la prise de décision sur les problèmes urgents, simplifie le processus de planification et de prévision, et surtout, toutes les informations sont disponibles sous la forme la plus visuelle.



Tout en travaillant avec l'un des clients, nous avons fait face à une tâche intéressante: calculer le nombre d'objets sur la carte par catégorie.

Trouver

Déterminez la ville la plus «verte» du District fédéral central en combinant les données suivantes: le nombre de magasins, de poubelles et de parcs.

Donné

Cartographie. Nous avons choisi OpenStreetMap (ci-après - OSM ) comme tremplin pour une raison très simple - Open Source.

Décision

Il existe plusieurs approches pour résoudre ce problème. Par exemple, nous pouvons utiliser PostgreSQL pour interroger la base de données OSM et obtenir les données dont nous avons besoin, ou nous pouvons utiliser QGIS, un système pour créer, analyser et publier des informations géospatiales. Cependant, nous avons trouvé un moyen plus élégant et efficace: l' API Overpass .

Overpass API est un outil puissant pour extraire des données de la base de données OSM à la demande de l'utilisateur. Il est optimisé pour les tâches de toute échelle: de la récupération de plusieurs éléments d'une base de données à des centaines de millions d'objets sélectionnés en fonction de la demande sous la forme de XML ou Overpass QL - une version améliorée d'Overpass XML. En savoir plus sur l'API Overpass ici .

Partons de zéro: tout d'abord, vous devez déployer OSM sur le serveur. Ubuntu est utilisé comme système d'exploitation sur notre machine.



Q: Pourquoi déployer votre OSM?

R: Pour travailler avec des données, nous avons besoin de l'API Overpass, dont le serveur public a une limite sur le nombre de requêtes par jour. C'est pour cette raison que nous déploierons notre serveur avec le blackjack OSM et l'API Overpass.

Des instructions détaillées pour l'installation d'OSM sont disponibles ici .

L'étape suivante consiste à installer l'API Overpass - sa dernière version peut être trouvée ici .

sudo apt-get update
sudo apt-get install g++ make expat libexpat1-dev zlib1g-dev apache2 -y
wget http://dev.overpass-api.de/releases/osm-3s_.tar.gz
tar -zxvf osm-3s_.tar.gz
cd osm-3s_
./configure CXXFLAGS="-O2" --prefix=$EXEC_DIR
make install
cd ../
chmod -R 755 ./overpass

Après l'installation, vous devez remplir - créer une base de données. Nous n'avons pas besoin d'une base de données du monde entier, nous allons donc utiliser le service Geofabrik , qui nous permet d'obtenir des données pour les régions administratives spécifiées.

BBBike est une alternative intéressante à Geofabrik .

Nous téléchargeons et décompressons la base de données téléchargée à partir du répertoire Europe> Fédération de Russie> District fédéral central au format .osm.bz2, comme suit:

PATH_TO_INIT_OSM3S.SH PATH_TO_FILE_BZ2 PATH_WERE_Unpack_OVERPASS_API DIRECTORY

Remarque: dans ce cas, toutes les actions sont effectuées dans le répertoire de passage supérieur .

Ainsi, la plate-forme est presque prête - nous pouvons maintenant faire notre première demande et connaître le nombre de parcs dans toute la région.

PATH_TO_OSM3S_QUERY --db-dir = PATH_TO_DB

Notre demande et réponse ressemble à ceci:

root@MIP-USER55:~# cd overpass/
root@MIP-USER55:~/overpass# ./osm-3s_v0.7.56.7/bin/osm3s_query --db-dir=db
encoding remark: Please enter your query and terminate it with CTRL+D.
[out:json][timeout:25];
(
nwr["landuse"="forest"];
);
out count;
{
  ...,
  "elements": [

{
  "type": "count",
  "id": 0,
  "tags": {
    "nodes": "23",
    "ways": "19723",
    "relations": "4206",
    "total": "23952"
  }
}

  ]
}

Nous sommes déjà proches: il ne reste plus qu'à diviser les parcs par régions et villes. Un Dispatcher fonctionnant séparément et fonctionnant constamment nous aidera à faire face à cette tâche .



Nous lançons l'API et ajoutons Listen PORT dans le répertoire /etc/apache2/ports.conf .

echo "_ localhost" | sudo tee /etc/apache2/conf-available/_.conf && sudo a2enconf _

sudo iptables -A INPUT -m state --state NEW -m tcp -p tcp --dport  -j ACCEPT
sudo a2enmod cgi
sudo a2enmod ext_filter
sudo cp /etc/apache2/sites-available/000-default.conf /etc/apache2/sites-available/___.conf

Vérification de la configuration. Ça devrait ressembler à ça.

<VirtualHost *:>
   ServerAdmin webmaster@localhost
   ExtFilterDefine gzip mode=output cmd=/bin/gzip

   DocumentRoot __OVERPASS_API/html

   ScriptAlias /api/ __OVERPASS_API/cgi-bin/

   <Directory "__OVERPASS_API">
      AllowOverride None
      Options Indexes FollowSymLinks
      Require all granted
   </Directory>

   <Directory "__OVERPASS_API/cgi-bin/">
      AllowOverride None
      Options +ExecCGI -MultiViews +SymLinksIfOwnerMatch
      Require all granted
   </Directory>

   ErrorLog ${APACHE_LOG_DIR}/error.log
   CustomLog ${APACHE_LOG_DIR}/access.log combined
</VirtualHost>

Ensuite, nous allumons le nouvel hôte et envoyons l'ancien au repos.

sudo a2ensite .conf
sudo a2dissite 000-default.conf
sudo a2dissite __.conf
sudo service apache2 reload

Il est maintenant temps d'activer le premier Dispatcher qui traitera nos demandes. Pour ce faire, nous utiliserons la commande.

nohup __OVERPASS_API/bin/dispatcher --osm-base --db-dir=__DB --meta &

Le premier signe que tout s'est déroulé comme prévu est la création du fichier

osm3s_OVERPASS_API_VERSION_osm_base dans le répertoire de la base de données. Le fichier nohup.out affiche un message d'état Dispatcher - dispatcher vient de démarrer .



Cependant, le travail ne s'arrête pas là: vous devez démarrer un autre Dispatcher. Tout d'abord, copiez le dossier rules dans le répertoire contenant la base de données et distribuez les droits aux zones osm3s_OVERPASS_API_VERSION_areas résultantes .

nohup __OVERPASS_API/bin/dispatcher --areas --db-dir=__DB &

chmod 666 "../db/osm3s_OVERPASS_API__areas"
nohup __OVERPASS_API/bin/rules_loop.sh __DB &

Maintenant, nous pouvons faire une demande pour la région et calculer le nombre de parcs à Ryazan. Et au fait, cela fonctionne déjà dans la barre d'adresse du navigateur.

http://localhost:/api/interpreter?data=[output:json][timeout:25]; area[name=""]->.searchArea; ( nwr["leisure"="park"](area.searchArea); ); out count;

Réponse tant attendue!

"elements": [

{
  "type": "count",
  "id": 0,
  "tags": {
    "nodes": "0",
    "ways": "57",
    "relations": "11",
    "areas": "0",
    "total": "68"
  }
}

  ]
}

Ainsi, maintenant nous pouvons nous plonger dans les problématiques d'analyse et d'amélioration: nous allons trouver le nombre de parcs, commerces et poubelles dans 25 grandes villes du District Fédéral Central et comparer ces indicateurs à l'aide des outils analytiques de la plateforme ODANT .

ODANT est une plate-forme d'intégration numérique russe conçue pour la construction de systèmes d'information de complexité et de distribution variables. En savoir plus sur ODANT ici .

Voici à quoi ressemblent nos paramètres de recherche de poubelles: dans le cadre de la tâche, nous ne faisons pas de distinction entre les sites conteneurs, les poubelles autoportantes et les points de collecte des déchets solides.

nwr["amenity"="recycling"](area.searchArea);
nwr["amenity"="waste_disposal"](area.searchArea);
nwr["amenity"="waste_basket"](area.searchArea);

Nous avons exporté la sortie d'ODANT sous forme de table plate.







Dans ce classement, la ville de Vladimir occupe la première ligne honorable: il n'y a que 234 personnes pour un lieu d'accumulation d'ordures. En utilisant les outils ODANT intégrés, nous construisons deux graphiques intéressants.











Passons à l'élément suivant - les bancs.

nwr["amenity"="bench"](area.searchArea);

Nous obtenons le résultat suivant sous forme de tableau.





Et encore une fois, Vladimir s'est avéré être le plus à l'aise de tous les candidats: 602 personnes ne peuvent pas être mises sur le même banc, mais à Mytishchi, une lutte très féroce se déroule pour les places. Cependant, vous pouvez toujours établir un calendrier.



Nous visualisons nos résultats.











Passons à la partie la plus intéressante: calculer la superficie des parcs. Nous pouvons utiliser plusieurs méthodes pour résoudre ce problème, mais la plus open source et la plus merveilleuse que nous trouvons est la bibliothèque Leaflet . Dans la requête elle-même, vous devez remplacer out count par out geom, ce qui nous donnera les coordonnées des régions en conséquence.

Leaflet est une bibliothèque JavaScript open source permettant d'afficher des cartes sur des sites Web. Prend en charge la plupart des plates-formes mobiles et de bureau prenant en charge HTML5 et CSS3. Leaflet permet à un développeur non familiarisé avec le SIG d'afficher facilement des cartes raster constituées de petits morceaux - tuiles, avec éventuellement des couches supplémentaires superposées au-dessus de la principale. En savoir plus sur la brochure ici .

Créons un polygone.

const polygon = L.polygon().addTo(map);
const area = L.GeometryUtil.geodesicArea(polygon.getLatLngs());

Désormais, la superficie contient la superficie de la région en m2. Nous extrayons les données des villes que nous avons sélectionnées et obtenons le tableau suivant.





Selon l'OSM, Zelenograd justifie pleinement son nom - 11% de la superficie de la ville est occupée par des espaces verts. Prenons le rapport entre le nombre de résidents et le nombre de parcs.





Présentons les données sous forme de graphiques.











Et dans la finale - la cote des villes, calculée par les places occupées.

Épilogue et conclusions

Par décision du jury composé d'OpenStreetMap, d'Overpass API et d'ODANT,

Vladimir prend la première place honorable et reçoit le titre «Le plus vert du district fédéral central».



Il convient de noter le fait suivant: notre recherche était basée uniquement sur les données reflétées dans l'OSM. Naturellement, il y a quelques centaines de bancs à Mytishchi, et à Tula il y a beaucoup plus d'endroits pour l'accumulation de déchets. Nos résultats peuvent être visualisés de l'autre côté, par exemple, pour évaluer la dynamique de l'ajout d'objets d'infrastructure urbaine à la base de données OSM. Cependant, en moyenne, les gens sont «tout aussi lents» pour entrer les données dans OSM, nous pouvons donc supposer que les données sont relativement fiables et méritent d'être examinées.



Nous avons réussi à résoudre le problème et à trouver un moyen efficace de travailler avec des objets sur des cartes OSM: il s'est avéré être une combinaison d'API Overpass et de Leaflet. En utilisant cet ensemble d'outils, nous pouvons effectuer des requêtes dans la base de données OSM et recevoir des données sur le nombre d'objets, calculer les surfaces des zones. Pour la présentation et l'analyse des données, nous avons mis en place une solution Web basée sur ODANT qui répond à tous nos besoins.



Il existe un grand nombre d'industries, d'entreprises et d'économies, qui pourraient être aidées par cette solution. Si vous avez des idées ou des commentaires, ce serait très agréable d'en discuter. Nous avons passé 28 heures propres sur la tâche, vous pourrez peut-être le faire plus rapidement.



Développeur Frontend principal, Infostandard - Daniel Epifanov.

Rédacteur, Infostandard - Nikita Morozov.