Passer au contenu principal
Adaptive Insights
Knowledge and Support - Adaptive Insights

Configurer source de données par script

Les sources de données par script vous permettent de résoudre des scénarios d’extraction et de transformation de données complexes et personnalisés. Vous pouvez écrire des scripts ETL Kettle afin de spécifier des sources d’informations pour en extraire des données, puis appliquer des règles métier spécifiques aux clients, sur les données extraites. (Avant de configurer une source de données par script, l’agent de données Adaptive doit être installé sur un serveur Windows local sur le réseau. Pour en savoir plus sur la configuration dans Adaptive de l’agent de données, consultez Utilisation des agents de données Adaptive.)

 

Les sources de données par script sont destinées aux développeurs ETL avancés qui ont de l’expérience dans l’écriture de scripts Pentaho Kettle et dans l’utilisation de l’interface utilisateur de Spoon . Pour en apprendre davantage à propos de Pentaho Kettle et de Spoon, notamment obtenir une documentation complète ainsi que des tutoriels, référez-vous au Wiki de Pentaho sur http://wiki.pentaho.com.

Pour configurer une source de données par script, procédez comme suit :

  1. Accédez au concepteur de données en allant sur Intégration > Concepteur de données.

  2. À partir du dossier Source de données dans la bibliothèque de composants sur le côté droit de l’écran, cliquez sur Créer une nouvelle source de données.
    La boîte de dialogue de création, s’affiche.

  3. Sélectionnez Source de données par script en tant que type de source de données et saisissez le nom de la source de données

  4. Cliquez sur Créer.
    La zone centrale de l’écran affiche les paramètres de votre nouvelle source de données ainsi que d’autres informations, comme illustré ci-dessous.

5. Saisissez les informations de la source de données :

  • Agent associé : sélectionnez l’agent dans le menu déroulant.
  • Point d’entrée : sélectionnez un point d’entrée dans le menu déroulant. Le point d’entrée est un script ETL sur le système. (Vous pouvez modifier cela plus tard.)
  • Niveau de journal : sélectionnez un niveau de journal dans la liste déroulante pour spécifier les détails de la journalisation pour cette source de données. Vos options sont les suivantes :
  • Erreur : Enregistre uniquement les erreurs graves.
  • Info : Consigne toutes les informations de base, telles que la date à laquelle la source de données a été mise à jour.
  • Verbeux fournit des informations très détaillées sur toutes les phases et actions. (Ce niveau est principalement utilisé pour le débogage ou l’audit, car il peut produire plus d’informations de journal que nécessaire, pour une utilisation normale.)
  • Source URI : Entrez les URI auxquels vos scripts se connectent séparés par un point-virgule (;). Ce champ est uniquement utilisé afin de vous aider à identifier et documenter les systèmes sources sous-jacents auxquels vos scripts se connectent, et n’est aucunement utilisé par le logiciel à d’autres fins.
  1. Cliquez sur Enregistrer dans le menu Actions.

Démarrer Spoon

Après avoir enregistré les informations de base pour la source de données par script, vous pouvez démarrer Spoon, l’éditeur de script ETL, travailler avec le script et ajouter des tables à la source de données par script.

Pour afficher et modifier le script, procédez comme suit :

  1. Dans le menu Démarrer de Windows, cliquez sur Tous les programmes.

  2. Ouvrez le dossier Agent de données Adaptive .

  3. Cliquez sur Éditeur Adaptive de scripts.
    Après une page de lancement Pentaho et un conseil de démarrage, l’écran Spoon s’affiche, comme indiqué ci-dessous.


  1. Saisissez vos identifiants Adaptive Integration, puis cliquez sur Se connecter maintenant/Actualiser la liste des tenants.

  2. Sélectionnez le tenant dans la liste déroulante. (Il n’y a généralement qu’un seul tenant.)
    Spoon actualise la liste des tenants.

  3. Sélectionnez l’agent que vous utilisez pour cette source de données dans la liste déroulante.
    Spoon actualise la liste des agents.

  4. Sélectionnez la source de données par script que vous venez de créer dans la liste déroulante dans Modifier le script.

Maintenant que vous êtes connecté et avez indiqué l’agent et la source de données à Spoon sur lesquels vous travaillez, vous pouvez commencer à modifier le script.

  1. Cliquez sur Intégration des données dans le coin supérieur droit de l’écran de Spoon
    La perspective Intégration de Spoon s’affiche, comme indiqué ci-dessous.

2. Sélectionnez Fichier > Ouvrir et accédez au script que vous souhaitez afficher et modifier, puis cliquez sur OK.
L’image ci-dessous illustre l’exemple Source de données par script. (Les exemples de scripts inclus dans Adaptive Integration fournissent des informations sur la structure du script et les connexions à la base de données qui pourraient vous être utiles lorsque vous développez vos propres scripts.)

!spoon_scripted_example.jpg
  1. Modifiez le script selon vos besoins, puis enregistrez-le.

  2. Cliquez sur Adaptive en haut à droite pour revenir à la perspective Adaptive.
    L’écran Spoon (illustré ci-dessus) s’affiche à nouveau.

  3. Cliquez sur Publier les modifications de l’agent. Cela renvoie le script sur le serveur Adaptive où il sera stocké dans le répertoire de script.

Les modes d’importation de données suivants sont pris en charge. (Les paramètres peuvent varier selon la table.)

  • Tous les enregistrements sont remplacés chaque fois que les données sont importées.
  • L’agent distant analyse tous les enregistrements source et transmet les enregistrements modifiés chaque fois que les données doivent être synchronisées.
  • Tous les enregistrements qui tombent dans une période sont transmis.

Ajout de tables et de colonnes à une source de données par script

Une fois le script en place, vous pouvez ajouter des tables et des colonnes à votre source de données dans Adaptive Integration.

Il est essentiel que les colonnes définies dans la source de données correspondent exactement aux colonnes définies dans le script ETL, faute de quoi le chargement des données échouera.

Pour ajouter des tables à une source de données par script, procédez comme suit :

  1. Développez l’entrée Table personnalisée dans le menu Composants de données.

  2. Faites glisser et déposez l’élément Tables scriptées dans la zone Tables à importer.
    Lorsque vous déposez cet élément, la boîte de dialogue Tables scriptées s’affiche, comme illustré ci-dessous.

    !scripted_table_settings_xantus.png
  3. Entrez les paramètres de la table :

  • Nom : Saisissez le nom de la table.
  • Mode d’importation des données : Sélectionnez l’un des modes d’importation :
    • Tous les enregistrements sont remplacés chaque fois qu’une importation de données est exécutée : Ceci est la valeur par défaut. Chaque fois que vous importez des données, tous les enregistrements de la zone de stockage sont remplacés.
    • Cache distant utilisé pour identifier et envoyer les enregistrements modifiés lors de l’importation : Adaptive Integration examine la zone de stockage et la compare avec les enregistrements de la feuille de calcul ou de la base de données, et importe uniquement les enregistrements modifiés.
    • Tous les enregistrements transmis, qui se trouvent dans une période : lorsque vous sélectionnez ce mode, vous êtes invité à entrer une période et une colonne Adaptive Inte­gration sur laquelle y appliquer la période. Tous les enregistrements répondant à ce critère de sélection sont importés.
  • Filtre d’importation de données : utilisez-le pour entrer une expression SQL qui filtre ou formate les informations importées. Le filtre SQL est appliqué avant l’extraction des données de la base de données, afin de réduire la quantité de données à importer, vous procurant ainsi un niveau de contrôle supplémentaire pour les données importées dans la zone de stockage. Cliquez sur le champ pour afficher la boîte de dialogue Modifier le filtre SQL, illustrée plus haut. (Le filtre que vous entrez ici est appliqué aux données réelles de la base de données plutôt qu’aux données de prévisualisation dans la zone de stockage.)
  1. Cliquez sur Appliquer pour appliquer les paramètres.

Pour ajouter des colonnes à une source de données par script, procédez comme suit :

  1. Développez l’entrée Colonne personnalisée dans le menu Composants de données.

  2. Faites glisser et déposez l’un des types de colonnes dans la zone Tables à importer.
    Lorsque vous déposez cet élément, la boîte de dialogue Colonnes personnalisées s’affiche.

  3. Entrez les paramètres des colonnes :

  • Nom entrez le nom de la colonne. (Les noms de colonne doivent correspondre exactement aux noms de colonnes spécifiés dans le script dans Spoon, y compris les majuscules et les espaces.)
  • Type de colonne : Un champ d’affichage uniquement qui identifie le type de colonne.
  • Convertir le type de colonne : Vous ne pouvez pas modifier cette valeur sauf pour les colonnes SQL. Pour les colonnes SQL, vous pouvez sélectionner une demi-douzaine d’options de conversion.
  1. Cliquez sur Appliquer pour appliquer les paramètres.

Gestion des colonnes

Si une table avec laquelle vous travaillez contient un grand nombre de colonnes, vous pouvez utiliser la commande Gérer les colonnes pour modifier rapidement les colonnes à importer. La boîte de dialogue Gérer les colonnes affiche les colonnes d’une table afin que vous puissiez sélectionner ou désélectionner les colonnes à importer.

Pour gérer les colonnes à importer, procédez comme suit :

  1. Cliquez sur la flèche de l’onglet à droite du nom de la table.
    Un menu flottant avec plusieurs options, s’affiche.

  2. Cliquez sur Gérer les colonnes dans le menu flottant.
    La boîte de dialogue Gérer les colonnes s’affiche.

    BatchEdit-ManageColumns00063.png
  3. Cochez la case à côté de la colonne que vous souhaitez importer. Lorsque vous sélectionnez une colonne, la colonne apparaît également dans la fenêtre d’aperçu après l’enregistrement du contenu de la fenêtre contextuelle. Si vous désélectionnez une colonne, la colonne est supprimée de la fenêtre d’aperçu.

    Vous ne pouvez pas modifier le statut d’importation sur les champs générés par le système, tel que Su­pprimé. Vous pouvez également modifier le statut d’importation sur des col­onnes individuelles en sélectionnant les propriétés de colonne et en définissant la propriété ou en faisant glisser et en déposant les colonnes dans le concepteur.

Personnaliser les tables

Pour chaque table, vous pouvez personnaliser la façon dont les données sont importées.

Pour personnaliser les paramètres de la table, procédez comme suit :

  1. Cliquez sur la flèche de l’onglet à droite du nom de la table.
    Un menu flottant avec plusieurs options, s’affiche.

  2. Cliquez sur Paramètres de la table dans le menu flottant.
    La boîte de dialogue Paramètres de la table s’affiche, comme indiqué précédemment.

  3. Cliquez sur Appliquer pour appliquer les paramètres.

  4. Répétez les étapes 1 à 3 pour chaque table.

  5. Cliquez sur Enregistrer pour enregistrer les paramètres dans la source de données.

Définition des options de colonne

Lorsque vous utilisez la section Tables à importer, vous pouvez voir un aperçu des données telles qu’elles se trouvent dans la source de données ou dans la zone de stockage après l’importation. Vous pouvez modifier les options de chaque colonne en passant la souris sur son en-tête, puis en cliquant sur le menu déroulant à côté de son nom. Ces options sont les suivantes :

  • Trier par ordre croissant : triez la table entière en fonction de cette colonne, dans l’ordre croissant.
  • Trier par ordre décroissant : triez la table entière en fonction de cette colonne, dans l’ordre décroissant.
  • Paramètres de colonne : cette boîte de dialogue est utilisée pour modifier les propriétés de la colonne dans la table de stockage.
  • Nom : Le nom de la colonne, affiché dans l’en-tête.
  • Type de colonne : Le type de données utilisé dans la colonne.
  • Convertir le type de colonne : sélectionnez le nouveau type dans ce menu déroulant.
  • Exclure la colonne de l’importation : sélectionnez cette option pour supprimer cette colonne des données importées.
  • Supprimer la colonne personnalisée : sélectionnez ceci pour supprimer la colonne. (Disponible pour les col­onnes personnalisées uniquement)

Téléchargement de données à partir d’une table de stockage

Vous pouvez télécharger des données à partir d’une seule table de stockage.

Pour télécharger des données à partir d’une seule table de stockage, procédez comme suit :

  1. Cliquez sur la flèche vers le bas dans un titre de table de la section Tables à importer.

  2. Sélectionnez Télécharger les données.

  3. À l’invite “Cette opération enverra un courriel avec une URL pour télécharger les données,” cliquez sur Envoyer. Adaptive Integration envoie alors un courriel contenant une URL, à l’adresse de messagerie associée au concepteur de données.

  4. Ouvrez le courriel et cliquez sur l’URL. Les données sont téléchargées au format .CSV.

Utilisation des filtres avancés

Sous le menu déroulant Source, vous pouvez cliquer sur Filtres avancés pour afficher les options de fil­trage des données dans la zone d’aperçu Tables à importer. La fonction de filtres avancés fournit des outils pour afficher et parcourir un sous-ensemble de données dans une table de stockage ou à partir du script. (Lorsque vous sélectionnez Script dans le menu déroulant Source,  la demande d’aperçu est envoyée à l’agent pour traitement.) En modifiant les propriétés du filtre, vous pouvez modifier l’affichage des données affichées dans la fenêtre d’aperçu sans modifier les données dans la zone de stockage.

La zone d’aperçu est spécialement conçue pour prévisualiser une petite partie des données dans la zone de stockage. Vous pouvez explorer les données disponibles à partir de la feuille de calcul et vérifier que vous obtenez les données attendues en examinant la zone de stockage. (Les filtres définis dans la fonction de prévisualisation n’affectent pas les données réelles dans la zone de stockage.)

Les options pour les filtres avancés sont :

  • Lignes distinctes : Cochez cette case pour masquer les lignes dupliquées.
  • Maximum de lignes : limitez le nombre de lignes affichées dans la zone d’aperçu en entrant un nombre dans la zone de texte.
  • Colonnes : sélectionnez ou désélectionnez les colonnes dans ce menu déroulant pour afficher ou masquer les colonnes affichées.

La suppression d’une colonne de cette liste ne supprime pas la colonne de la liste d’importation.

  • Filtre SQL : cliquez sur la grande zone de texte pour afficher la boîte de dialogue Modifier le filtre SQL (illustrée précédemment), dans laquelle vous pouvez entrer un filtre SQL pour limiter les lignes en cours d’aperçu. Cliquez sur Appliquer pour vérifier automatiquement la syntaxe SQL du filtre. (S’il existe des erreurs, elles seront indiquées dans l’expression.) Pour obtenir une aide détaillée sur la syntaxe SQL, vous pouvez cliquer sur Aide en ligne dans la section Notes.

Cliquez sur Supprimer le filtre (à côté du menu déroulant Source) pour effacer tous les para­mètres de filtres avancés.

Dans le cadre du processus de personnalisation de table, vous pouvez également créer des tables de jointure et des colonnes personnalisées à l’aide des expressions SQL.

Ajout et modification de paramètres

Vous pouvez utiliser des paramètres pour transmettre des informations au script Kettle sous-jacent. Ces para­mètres peuvent être définis avec une valeur par défaut. Le script peut ensuite utiliser les paramètres pour contrôler les transformations et le filtrage dans les scripts ETL.

Pour ajouter un paramètre, procédez comme suit :

  1. Cliquez sur l’icône Modifier les paramètres à droite du titre Paramètres.
    La boîte de dialogue Éditeur de paramètres s’affiche (illustrée ci-dessous).

    !loaders_script_edit_parms.png
     
  2. Cliquez sur le dossier dans le volet de gauche auquel vous souhaitez ajouter un paramètre. Le nom du dossier apparaît dans le volet de droite.

  3. Cliquez sur Ajouter et sélectionnez l’une des options suivantes dans le menu flottant :

  • Dossier : créer un nouveau dossier.
  • Booléen : créer un paramètre booléen (vrai/faux).
  • Entier : créer un paramètre entier.
  • Texte : créer un paramètre de texte.
  • Mot de passe : créer un paramètre de mot de passe.
  • Période : créer un paramètre de période (dates de début/fin).
  • Dimension : créer une dimension.
  • Version des données réelles : créer une version de données réelles.
  • Version de planification : créer une version de planification.
  1. Dans le panneau de droite, saisissez les informations relatives à l’option que vous avez sélectionnée.
  2. Cliquez sur Appliquer.

Vous pouvez modifier chacun des paramètres ou les dossiers en cliquant deux fois sur l’élément que vous voulez modifier dans le panneau de gauche, en apportant les modifications aux informations dans les champs, puis en cliquant sur Appliquer , pour enregistrer vos modifications.

Vous pouvez également créer des dossiers pour regrouper les paramètres, puis faire glisser les paramètres dans le dossier.

Importation de données avec source de données par script

Lorsque vous avez configuré et enregistré votre source de données par script, vous pouvez importer des données.

Pour importer des données avec une source de données par script, procédez de la façon suivante :

  1. Cliquez sur Importer les données dans le menu Actions.
    Les données sélectionnées sont filtrées selon les scripts ETL ainsi que les expressions SQL et chargées dans la zone de stockage. Vous pouvez prévisualiser les données dans la zone de stockage.

Les informations restent dans la zone de stockage jusqu’à ce que vous les effaciez ou jusqu’à ce qu’un chargement de données ultérieur entraîne leur suppression conformément au paramètre actif Mode d’importation des données.

Pour effacer les données de la zone de transfert, procédez comme suit :

  1. Cliquez sur Effacer les tables de stockage dans le menu Actions .
    Les éléments de la zone de stockage de toutes les tables de la source de données, seront effacés.