Passer au contenu principal

logoCorrectSize.png

Workday Adaptive Planning Knowledge Center

Configurer une source de données par script :

Les sources de données par script vous permettent de résoudre des scénarios complexes, personnalisés d’extraction et de transformation des données. Vous pouvez écrire des scripts ETL Kettle pour spécifier les sources d’information desquelles extraire des données, puis appliquer des règles métier spécifiques du client aux données extraites. Avant de configurer une source de données par script, vous devez avoir l’agent de données Adaptive installé sur un serveur Windows sur site dans le réseau. Voir Utilisation Adaptive Agents de données pour plus d’informations.

 

Les sources de données par script sont destinées aux développeurs ETL avancés qui ont de l’expérience dans l’écriture de scripts Pentaho Kettle et dans l’utilisation de l’interface utilisateur de Spoon . Pour plus d’informations sur Pentaho Kettle et Spoon, y compris des documents et tutoriels détaillés, veuillez consulter le Pentaho wiki disponible sur http://wiki.pentaho.com.

Pour configurer une source de données par script :

  1. Accédez au concepteur de données  en allant sur Intégration > Intégrations de conception.

  2. À partir du dossier Source de données  dans la bibliothèque de composants , à droite de l’écran, cliquez sur Créer une nouvelle source de données.
    La boîte de dialogue Créer un nouveau apparaît.

  3. Sélectionnez Source de données par script comme type de source de données et saisissez un nom pour la source de données

  4. Cliquez sur Créer.
    La zone centrale de l’écran affiche les paramètres de votre nouvelle source de données ainsi que d’autres informations :

5. Entrez les informations de la ’source de données :

  • Agent associé : Sélectionnez l’agent dans la liste déroulante.
  • Point d’entrée : Sélectionnez un point d’entrée dans la liste déroulante. Le point d’entrée est un script ETL sur le système. Vous pouvez modifier ceci plus tard.
  • Niveau de journal :  sélectionnez un niveau de journal dans la liste déroulante pour spécifier les détails de la journalisation pour cette source de données. Vos options sont :
  • Erreur : Consigne uniquement les erreurs graves.
  • Info : Consigne toutes les informations de base, telles que la date à laquelle la source de données a été mise à jour.
  • Verbeux :  fournit des informations très détaillées sur toutes les phases et actions. (Ce niveau est principalement utilisé pour le débogage ou l’audit, car il peut produire plus d’informations de journal que nécessaire, pour une utilisation normale.)
  • URI source : Saisissez les URI auxquelles vos scripts se connectent séparées par un point-virgule ( ;). Ce  champ est fourni afin de vous aider à identifier et documenter les systèmes sources sous-jacents auxquels vos scripts se connectent et ne sera pas utilisé par le logiciel pour un quelconque autre propos.
  1. Cliquez sur Enregistrer dans le menu Actions.

Démarrage Spoon

Après avoir sauvegardé les informations de base pour la source de données par script, vous pouvez démarrer Spoon, l’éditeur de script ETL, travailler avec le script et ajouter des tables à la source de données par script.

Pour afficher et modifier le script :

  1. Dans le menu Démarrer Windows, cliquez sur Tous les programmes.

  2. Ouvrir le dossier Adaptive Agent de données .

  3. Cliquez sur Adaptive Éditeur de script.
    Après un écran de présentation Pentaho et un conseil de démarrage, l’écran Spoon apparaît :

  1. Saisissez votre courriel et mot de passe de connexion Adaptive Insights, puis cliquez sur Se connecter maintenant/Actualiser la liste des locataires.

  2. Sélectionnez le locataire dans la liste déroulante. Il n’y en a généralement qu’un seul locataire.
    Spoon actualise la liste des locataires.

  3. Sélectionnez l’agent que vous utilisez pour cette source de données dans la liste déroulante.
    Spoon actualise la liste des agents.

  4. Sélectionnez la source de données par script que vous venez de créer dans la liste déroulante dans Modifier le script.

Maintenant que vous êtes connecté et avez indiqué à Spoon l'agent et la source de données sur lesquels vous travaillez, vous pouvez commencer à modifier le script.

  1. Cliquez sur le lien Intégration des données dans le coin supérieur droit de l’écran Spoon .
    La perspective Integration de Spoon apparaît :

2. Sélectionner Fichier > Ouvrir et accédez au script que vous souhaitez afficher et modifier, puis cliquez sur OK.
L’image ci-dessous montre un exemple de Source de données par script . Les exemples de script inclus avec Adaptive Integration donnent des informations sur la structure des scripts et les connexions de base de­données qui peuvent vous être utiles lorsque vous développez vos propres scripts.

!spoon_scripted_example.jpg
  1. Modifiez le script, le cas échéant, puis enregistrez-le.

  2. Cliquez sur Adaptive en haut à droite pour revenir à la Adaptive Perspective.
    L’écran Spoon s’affiche à nouveau.

  3. Cliquez sur Publier les modifications d’agent. Cela pousse le script vers le serveur Adaptive Insights , où il est stocké dans le référentiel de scripts.

Les modes d’importation de données suivants sont pris en charge. Les paramètres peuvent varier selon la table.

  • Tous les enregistrements sont remplacés à chaque fois que des données sont importées.
  • Remote Agent analyse tous les enregistrements sources et transmet les enregistrements modifiés à chaque synchronisation des données.
  • Tous les enregistrements qui rentrent dans la période sont transmis.

Ajout de tables et de colonnes à une source de données par script

Avec le script en place, vous pouvez ajouter des tables et des colonnes à votre source de données dans l’intégration.

Il est essentiel que les colonnes définies dans la source de données correspondent aux colonnes définies dans le script ETL exactement, ou sinon la charge de données échoue.

Pour ajouter des tables à une source de données par script, procédez comme suit :

  1. Développez l’entrée Table personnalisée  dans le menu Composants de données .

  2. Faites glisser et déposez l’élément Tables par script  dans la zone Tables à importer.
    Lorsque vous déposez cet article, la boîte de dialogueTables par script  apparaît :

    !scripted_table_settings_xantus.png
  3. Saisissez les paramètres de la table :

  • Nom : Saisissez le nom de la table.
  • Mode d'importation des données: Sélectionnez l’un des modes d’importation :
    • Tous les enregistrements sont remplacés à chaque exécution d'une importation de données Il s’agit de la valeur par défaut. Chaque fois que vous importez des données, tous les enregistrements de la zone de stockage sont remplacés.
    • Cache distant utilisé pour identifier et envoyer des enregistrements modifiés lors de l’importation : Integration examine la zone de stockage et la compare avec les enregistrements dans la feuille de calcul ou la base de données et importe uniquement les enregistrements modifiés.
    • Tous les enregistrements qui tombent dans une période transmise : Lorsque vous sélectionnez ce mode, vous êtes invité à entrer une période et une colonne intégration lui applique la période. Tous les enregistrements qui remplissent ce critère de sélection sont importés.
  • Filtre d’importation de données : Utilisez cette option pour saisir une expression SQL qui filtre ou formate les informations en cours d’importation. Le filtre SQL est appliqué avant que les données ne soient extraites de la base de données afin de réduire la quantité de données devant être importées, ce qui vous donne un niveau de contrôle supplémentaire concernant quelles données sont introduites dans la zone de stockage. Cliquez sur le champ pour afficher la boîte de dialogue Modifier le filtre SQL, montrée précédemment. (Le filtre que vous saisissez ici est appliqué aux données réelles de la base de données plutôt qu’aux données de prévisualisation dans la zone de stockage.)
  1. Cliquez sur Appliquer pour appliquer les paramètres.

Pour ajouter des colonnes à une source de données par script, procédez comme suit :

  1. Développez l’entrée Colonne personnalisée  dans le menu Composants de données .

  2. Faites glisser l’un des types de colonnes vers la zone Tables à importer .
    Lorsque vous déposez cet élément, la boîte de dialogue Colonnes personnalisées s’affiche.

  3. Entrez les paramètres de colonne :

  • Nom : entrez le nom de la colonne. Les noms de colonne doivent correspondre exactement aux noms de colonnes spécifiés dans le script Spoon, capitalisation et espaces intégrés inclus.
  • Type de colonne: Un champ en mode affichage uniquement qui identifie le type de colonne.
  • Convertir le type de colonne: Vous ne pouvez pas modifier cette valeur à l’exception des colonnes SQL. Pour les colonnes SQL, vous pouvez sélectionner une demi-douzaine d’options de conversion.
  1. Cliquez sur Appliquer pour appliquer les paramètres.

Gestion des colonnes

Si une table avec lequel vous travaillez comporte un grand nombre de colonnes, vous pouvez utiliser Gérer les colonnes pour effectuer des modifications rapides concernant quelles les colonnes doivent être importées. La boîte de dialogue Gérer les colonnes affiche les colonnes d’une table afin que vous puissiez cocher ou décocher les colonnes pour l’importation.

Pour gérer les colonnes à importer :

  1. Cliquez sur la flèche sur l'onglet situé à droite du nom de la table.
    Un menu flottant comportant plusieurs options apparaît.

  2. Cliquez sur Gérer les colonnesdans le menu flottant.
    La boîte de dialogue Gérer les colonnes s’affiche.

    BatchEdit-ManageColumns00063.png
  3. Cochez la case à côté d’une colonne pour l’importer. Lorsque vous cochez une colonne, la colonne apparaît également dans la fenêtre d’aperçu une fois que le contenu contextuel est sauvegardé. Décocher une colonne supprime la colonne de la fenêtre d’aperçu.

    Vous ne pouvez pas modifier le statut d’importation sur des champs générés par le système, tels que isDe­leted. Vous pouvez également modifier le statut d’importation de colonnes individuelles en sélectionnant les propriétés de co­lonne et en définissant la propriété ou en faisant glisser et en déposant les colonnes dans le concepteur.

Personnalisation des tables

Pour chaque table, vous pouvez personnaliser la manière dont les données sont importées.

Pour personnaliser les paramètres de table, procédez comme suit :

  1. Cliquez sur la flèche sur l'onglet situé à droite du nom de la table.
    Un menu flottant comportant plusieurs options apparaît.

  2. Cliquez sur Paramètres de tabledans le menu flottant.
    La boîte de dialogue Paramètres de table s’affiche, comme illustré précédemment.

  3. Cliquez sur Appliquer pour appliquer les paramètres.

  4. Répétez les étapes 1 à 3 pour chaque table.

  5. Cliquez sur Enregistrer pour enregistrer les paramètres dans la source de données.

Paramétrage des options de colonne

Lors de l’utilisation de la section Tables à importer , vous pouvez voir un aperçu des données telles qu’elles se trouvent dans la source de données ou dans la zone de stockage après qu’elles aient été importées. Vous pouvez modifier les options de chaque colonne en faisant glisser la souris sur son titre, puis en cliquant sur la liste déroulante à côté de son nom. Ces options sont :

  • Trier dans l’ordre croissant: Triez la table entière en fonction de cette colonne dans l’ordre croissant.
  • Trier dans l’ordre décroissant: Triez la table entière en fonction de cette colonne dans l’ordre décroissant.
  • Paramètres de colonne : Cette boîte de dialogue permet de modifier les propriétés de la colonne dans la table de stockage.
  • Nom : Nom de la colonne, affiché dans l’en-tête.
  • Type de colonne : Type de données utilisées dans la colonne.
  • Convertir le type de colonne : Sélectionnez le nouveau type dans ce menu déroulant.
  • Exclure la colonne de l’importation : Sélectionnez cette option pour supprimer cette colonne des données importées.
  • Supprimer la colonne personnalisée : Sélectionnez cette option pour supprimer la colonne. (Disponible pour les co­lonnes personnalisées uniquement.)

Téléchargement des données d’une table de stockage

Vous pouvez télécharger des données à partir d’une table de stockage unique.

Pour télécharger des données à partir d’une table de stockage unique :

  1. Cliquez sur la flèche bas dans une en-tête de table dans la section Tables à importer.

  2. Sélectionnez Télécharger les données.

  3. À l’invite “Cette opération enverra un courriel avec une URL pour télécharger les données,” cliquez sur Envoyer. Adaptive Insights envoie alors un courriel contenant une URL, à l’adresse de messagerie associée au concepteur de données.

  4. Ouvrez le courriel et cliquez sur l’URL. Les données sont téléchargées au format.csv.

Utilisation du filtre avancé

Sous le menu déroulant Source , vous pouvez cliquer sur Filtre avancé pour révéler des options pour fil­trer les données dans la zone de prévisualisation Tables à importer. Le Filtre avancé fournit des outils pour afficher et parcourir un sous-ensemble de données dans une table de stockage ou dans le script. (Lorsque vous sélectionnez le Script dans la liste déroulante Source , la requête de prévisualisation est envoyée à l’agent pour traitement.) En modifiant les propriétés du filtre, vous pouvez modifier la vue des données affichées dans la fenêtre de prévisualisation sans modifier les données dans la zone de stockage.

La zone de prévisualisation est spécifiquement destinée à prévisualiser une petite partie des données de la zone de stockage. Vous pouvez explorer les données disponibles dans la feuille de calcul et vérifier que vous obtenez les données que vous attendez en examinant la zone de stockage. (Les filtres définis dans la fonction de prévisualisation n’affectent pas les données réelles dans la zone de stockage.)

Les options du Filtre avancé sont :

  • Lignes distinctes : Cochez cette case pour masquer les lignes dupliquées.
  • Lignes max. : Limitez le nombre de lignes affichées dans la zone de prévisualisation en saisissant un nombre dans la zone de texte.
  • Colonnes : Cochez ou décochez les colonnes dans ce menu déroulant pour afficher ou masquer des colonnes.

Supprimer une colonne de cette liste ne supprime pas la colonne de la liste d’importation.

  • Filtre SQL: Cliquez sur la grande zone de texte pour afficher la boîte de dialogue Modifier le filtre SQL (montrée auparavant), où vous pouvez entrer un filtre SQL pour limiter les lignes prévisualisées. Cliquez sur Appliquer pour vérifier automatiquement la syntaxe SQL du filtre. (Le cas échéant, les erreurs seront indiquées dans l’expression.) Pour obtenir une aide détaillée sur la syntaxe SQL, vous pouvez cliquer sur aide en ligne  dans la section Notes.

Cliquez sur Supprimer le filtre(à côté du menu déroulant Source) pour effacer tous les paramètres de filtre avan­cé.

Dans le cadre du processus de personnalisation de table, vous pouvez également créer des tables de jointure et des colonnes personnalisées à l’aide d’expressions SQL.

Ajout et modification des paramètres

Vous pouvez utiliser des paramètres pour transmettre des informations au Kettle script sous-jacent. Ces para­mètres peuvent être définis avec une valeur par défaut. Le script peut ensuite utiliser les paramètres pour contrôler les transformations et le filtrage dans les scripts ETL.

Pour ajouter un paramètre :

  1. Cliquez sur l’icône Modifier les paramètres à droite de l’en-tête Paramètres .
    La boîte de dialogue de l’Éditeur de paramètres apparaît :

    !loaders_script_edit_parms.png
  2. Cliquez sur le dossier dans le volet de gauche auquel vous souhaitez ajouter un paramètre. Le nom du dossier apparaît dans le panneau droit.

  3. Cliquez sur Ajouter  et sélectionnez l’une des options suivantes dans le menu flottant :

  • Dossier : Créer un nouveau dossier.
  • Booléen : Créez un paramètre booléen (vrai/faux).
  • Entier : Créez un paramètre de nombre entier.
  • Texte : Créez un paramètre de texte.
  • Mot de passe : Créez un paramètre de mot de passe.
  • Période : Créez un paramètre de période (dates de/à).
  • Dimension: Créer une dimension.
  • Version de données réelles : Créer une version de données réelles
  • Version de plan : Créer une version de plan.
  1. Dans le panneau de droite, saisissez les informations de l’option que vous avez sélectionnée.
  2. Cliquez sur Appliquer.

Vous pouvez modifier chaque paramètre individuel ou les dossiers en cliquant deux fois sur celui que vous souhaitez modifier dans le panneau gauche et en apportant les modifications aux informations dans les champs, puis en cliquant sur Appliquer , pour enregistrer vos modifications.

Vous pouvez aussi créer des dossiers pour regrouper les paramètres, puis faire glisser les paramètres dans le dossier.

Importation de données avec une source de données par script

Lorsque vous avez configuré et enregistré votre source de données par script, vous pouvez importer des données.

Pour importer des données avec une source de données par script :

  1. Cliquez sur Importer des données dans le menu Actions.
    Les données sélectionnées sont filtrées par les scripts ETL, ainsi que par toutes les expressions SQL, et chargées dans la zone de stockage. Vous pouvez prévisualiser les données dans la zone de stockage.

Les informations restent dans la zone de stockage jusqu’à ce que vous les effaciez ou jusqu’à ce qu’un chargement de données ultérieur entraîne la suppression sur la base du paramètre Mode d’importation de données actif.

Pour effacer les données de la zone de stockage :

  1. Cliquez sur Effacer les tables de stockage dans le menu Actions .
    La zone de stockage pour toutes les tables de la source de données est effacée.

  • Cet article vous a été utile ?