Outil Code Apache Spark
L'outil Apache Spark Code est un éditeur de code qui crée un contexte Apache Spark et exécute des commandes Apache Spark directement depuis Alteryx Designer. Cet outil utilise le langage de programmation R.
Pour plus d'informations, consultez Apache Spark Direct, Apache Spark sur Databricks et Apache Spark sur Microsoft Azure HDInsight.
Connectez-vous à votre cluster Apache Spark directement.
Faites glisser un outil Connecter en BDD ou un outil Entrée du flux de données sur le canevas.
Cliquez sur la flèche de liste déroulante Nom de la connexion et sélectionnez Gérer la connexion.
Vous pouvez également vous connecter directement avec l'outil Apache Spark Code.
Faites glisser l'outil Apache Spark Code sur le canevas.
Sous Connexion aux données, cliquez sur la flèche de liste déroulante Nom de la connexion et sélectionnez Gérer la connexion.
Ces deux méthodes permettent d'afficher la fenêtre Gérer les connexions en BDD. Dans Gérer les connexions en BDD, sélectionnez une source de données.
Lorsqu'une connexion Spark Direct est établie, l'éditeur de code est activé. Utilisez Insérer le code pour générer les fonctions du modèle dans l'éditeur de code.
Bibliothèque d'importation crée une déclaration d'importation.
importer un package
Lire des données crée une fonction readAlteryxData pour retourner les données entrantes en tant que DataFrame SparkSQL Apache.
valdataFrame = readAlteryxData(1)
Écrire des données crée une fonction writeAlteryxData pour produire un DataFrame SparkSQL Apache.
writeAlteryxData(dataFrame, 1)
Message de journal crée une fonction logAlteryxMessage pour écrire une chaîne dans le journal en tant que message.
logAlteryxMessage("Example message")
Avertissement de journal crée une fonction logAlteryxWarning pour écrire une chaîne dans le journal en tant qu'avertissement.
logAlteryxWarning("Example warning")
Erreur de journal crée une fonction logAlteryxError pour écrire une chaîne dans le journal en tant qu'erreur.
logAlteryxError("Example error")
Bibliothèque d'importation crée une déclaration d'importation.
depuis la bibliothèque d’importation du module
Lire des données crée une fonction readAlteryxData pour retourner les données entrantes en tant que DataFrame SparkSQL Apache.
dataFrame= readAlteryxData(1)
Écrire des données crée une fonction writeAlteryxData pour produire un DataFrame SparkSQL Apache.
writeAlteryxData(dataFrame, 1)
Message de journal crée une fonction logAlteryxMessage pour écrire une chaîne dans le journal en tant que message.
logAlteryxMessage("Example message")
Avertissement de journal crée une fonction logAlteryxWarning pour écrire une chaîne dans le journal en tant qu'avertissement.
logAlteryxWarning("Example warning")
Erreur de journal crée une fonction logAlteryxError pour écrire une chaîne dans le journal en tant qu'erreur.
logAlteryxError("Example error")
Bibliothèque d'importation crée une déclaration d'importation.
library(jsonlite)
Lire des données crée une fonction readAlteryxData pour retourner les données entrantes en tant que DataFrame SparkSQL Apache.
dataFrame<- readAlteryxData(1)
Écrire des données crée une fonction writeAlteryxData pour produire un DataFrame SparkSQL Apache.
writeAlteryxData(dataFrame, 1)
Message de journal crée une fonction logAlteryxMessage pour écrire une chaîne dans le journal en tant que message.
logAlteryxMessage("Example message")
Avertissement de journal crée une fonction logAlteryxWarning pour écrire une chaîne dans le journal en tant qu'avertissement.
logAlteryxWarning("Example warning")
Erreur de journal crée une fonction logAlteryxError pour écrire une chaîne dans le journal en tant qu'erreur.
logAlteryxError("Example error")
Utilisez l'outil Importer code pour intégrer un code créé en externe.
Depuis Fichier ouvre un explorateur de fichiers permettant d'accéder à l'emplacement de votre fichier.
Depuis Jupyter Notebook ouvre un explorateur de fichiers permettant d'accéder à l'emplacement de votre fichier.
À partir de l'URL fournit un champ pour saisir ou coller l'emplacement d'un fichier.
Sélectionnez l'icône de l'engrenage pour modifier l'aspect de l'éditeur de code.
Utilisez les boutons Taille de texte pour augmenter ou diminuer la taille du texte de l'éditeur.
Utilisez le Thème de couleur pour basculer entre un jeu de couleurs claires et sombres.
Sélectionnez Inclure des lignes longues dans un wrapper pour que les longues lignes restent visibles dans la fenêtre de l'éditeur de code, sans recourir au défilement horizontal.
Sélectionnez Afficher les numéros de ligne pour afficher le numéro des lignes de l'éditeur.
Sélectionnez les méta-informations du canal de sortie que vous souhaitez gérer. Modifiez manuellement le Type de données Apache Spark des données existantes.
Sélectionnez l'icône plus pour ajouter une ligne de données.
Saisissez le Nom de champ.
Sélectionnez le Type de données Apache Spark.
Saisissez la Taille en bits.