Big Data Tools EAP 11: Zeppelin dans DataGrip et Spark-submit dans tous les IDE pris en charge

Une autre mise à jour d'EAP 11 vient de sortir pour un plugin appelé Big Data Tools, disponible pour l'installation dans IntelliJ IDEA Ultimate, PyCharm et DataGrip. Vous pouvez l'installer via la page du plugin sur le site ou dans l'EDI.

Big Data Tools est un plugin qui vous permet de vous connecter aux clusters Hadoop et Spark. Il assure la surveillance des nœuds, des applications et des tâches individuelles. De plus, les blocs-notes Zeppelin peuvent être créés, exécutés et modifiés dans IDEA et DataGrip. Vous n'avez pas besoin de passer à l'interface Web Zeppelin et de travailler paisiblement sans quitter votre IDE préféré. Le plugin vous permet de naviguer facilement dans le code, d'effectuer une complétion intelligente, des refactorisations et des correctifs rapides directement à l'intérieur de l'ordinateur portable.

Nouveau type de configuration de lancement pour spark-submit

— Spark- IDE, . IDE, PyCharm. , spark-submit bin Spark . : - . .

spark-submit , . , SSH, spark-submit . bash- , . , , - .

Big Data Tools , . run configuration, spark-submit, SSH, - . .

Apache Zeppelin DataGrip

Zeppelin DataGrip. DataGrip , - . , SQL .

, SQL. , Matplotlib Scala DataGrip .

. , .

• Spark-submit IntelliJ IDEA, DataGrip PyCharm (BDIDE-843).
• Apache Zeppelin DataGrip (BDIDE-1045).
• Zeppelin (BDIDE-906).
• Spark Monitoring (BDIDE-1159).
• Zeppelin (BDIDE-1172).

• Zeppelin: , (, HTML Zeppelin) (BDIDE-1132).

• Zeppelin: – IntelliJ IDEA 2020.1 Zeppelin, (BDIDE-1184).
• Zeppelin: – , /api/version (BRIDE-1199).
• Zeppelin: – (BDIDE-1171).
• Zeppelin: – Structure Zeppelin (BDIDE-1135).
• Zeppelin: Fixed – IDEA , (BDIDE-1208).
• Zeppelin: – "Open in browser" (BDIDE-1142).
• Zeppelin: – (BDIDE-1129).
• Spark Monitoring: – JSON, Storages, (BDIDE-1162).
• Remote FS: – Azure (BDIDE-1141).
• Remote FS: – (BDIDE-1192).
• Remote FS: – (BDIDE-1202).
• General: – (BDIDE-1195).
• HTTP Proxy: – Spark Hadoop SOCKS proxy (BDIDE-1209).
• HTTP Proxy: – SCOKS proxy (BDIDE-1215).
• HTTP Proxy: – (BDIDE-1216).

, Big Data Tools, . , Twitter.

, , , .

Big Data Tools