Clever Geek Handbook

Big Data Tools EAP 10: tunnels SSH, filtrage d'applications, modules personnalisés, etc.

Une nouvelle version du plugin Big Data Tools vient de sortir - un plugin pour IntelliJ IDEA Ultimate, DataGrip et PyCharm qui fournit une intégration avec Hadoop et Spark, vous permet d'éditer et d'exécuter des blocs-notes interactifs dans Zeppelin.



L'objectif principal de cette version est de résoudre autant de problèmes que possible et d'améliorer le plugin de l'intérieur, mais deux améliorations importantes sont visibles à l'œil nu:



  • La connexion à Hadoop et Spark est désormais possible via des tunnels SSH, créés en quelques clics de souris;
  • La surveillance Hadoop peut limiter la quantité de données chargées lors de l'affichage de la liste des applications.




Tunnels SSH



Souvent, le serveur dont nous avons besoin n'est pas directement accessible, par exemple, s'il est situé à l'intérieur d'un circuit d'entreprise protégé ou s'il est fermé par des règles spéciales sur le pare-feu. Pour entrer, vous pouvez utiliser une sorte de tunnel ou VPN. Le plus simple des tunnels, toujours à portée de main, est SSH.



Vous pouvez créer un tunnel avec une seule commande de console:



ssh -f -N -L 1005:127.0.0.1:8080 user@spark.server


Un fichier aidera à automatiser un peu le processus ~/.ssh/config, dans lequel vous enregistrez une fois les paramètres de connexion, puis utilisez:



Host spark
    HostName spark.server
    IdentityFile ~/.ssh/spark.server.key
    LocalForward 1005 127.0.0.1:8080
    User user


ssh -f -N spark — , IP-. .



.



-, - . -f -N -L? , — ? ? , , .



-, , IDE. , , , IDE .



, Big Data Tools SSH-.





, , SSH.



Enable tunneling :



  • Zeppelin
  • HDFS
  • Hadoop
  • Spark Monitoring


, , SSH. : , , , .



, . - , SSH, VPN .



BDIDE-1063 YouTrack.





, Spark Monitoring , , .





, .



Big Data Tools , . , .



, .



BDIDE-1077.



Zeppelin



Zeppelin JAR-. Big Data Tools , IDE .



Zeppelin, Big Data Tools . , , . Big Data Tools , IntelliJ IDEA.



Maven JAR-. , -, .



. "User dependencies":





BDIDE-1087.





Big Data Tools — , . , . EAP 10 , Spark Monitoring.





More articles:


All Articles