Data Pipeline Service

Fonctionnalité de l’offre de Cloud Public OpenStack Flexible Engine proposée par  Orange Business Services

Description

Data Pipeline Service (DPS) est un service Web  fonctionnant sur le Cloud Public. Il vous permet d’automatiser facilement le transport et la transformation des données entre différents services.

Avec DPS, vous pouvez définir un « pipeline » pour décrire les tâches de traitement des données, la séquence d’exécution des tâches et le plan de planification des tâches. DPS planifie et contrôle l’exécution des tâches en fonction du plan d’ordonnancement prédéfini et de la relation, afin d’assurer le traitement et le mouvement des données interservices.

Nous contacter

Bénéfices

Data Pipeline Service présente les avantages suivants.

  • Facilité d’utilisation :Pour créer ou personnaliser un pipeline, vous pouvezglisser-déposer des activités et des sources de données sur Canvas (un éditeur graphique de pipeline par glisser-déposer) et définir les propriétés de ces activités et sources de données. Cela réduit considérablement vos coûts de développement.
  • Fiabilité élevée : Grâce à la conception haute disponibilité et à la tolérance aux pannes, DPS planifie de manière efficace et fiable l’exploitation des pipelines et des activités. Si la logique d’une activité est défectueuse,  DPS réessaiera  automatiquement cette activité. Si le défaut persiste, DPS vous envoie une notification de défaut par l’intermédiaire du service Simple Message Notification.
  • Interconnexion avec de multiples services : DPS fournit une variété de sources de données et d’activités pré-assemblées, et s’interconnecte avec de multiples services publics de stockage, de mouvement et d’analyse de données dans le Cloud. Cela améliore l’ergonomie des services de Cloud Public.

Fonctionnalités

Ce qui suit décrit les concepts de base du DPS  :

  • Pipeline : Groupe logique de source de données et d’activités qui exécutent une tâche de traitement des données en collaboration.
  • Activité : Une activité définit les opérations (telles que le mouvement et la transformation) effectuées pour les données. Par exemple, l’activité DistCp peut transférer des données entre les sources de données Object Storage Service et Hadoop Distributed File System.
  • Source de données : Une source de données indique un endroit où les données sont stockées, comme Object Storage Service, Relationnal Database Service et HDFS.

 

USE CASES

Console unifiée pour divers produits de Cloud Computing

En s’intégrant aux grands composants de traitement de données communs, DPS prend en charge la redirection rapide et la configuration interactive. Grâce à une console unique, vous pouvez surveiller les opérations, les tâches et les états des données de chaque service de traitement des données, avec une expérience utilisateur simple et cohérente.

Nous contacter

Mouvement des données entre les produits de Cloud Computing

Si vous avez acheté plusieurs produits Cloud et que chaque produit stocke une certaine quantité de données, il vous sera parfois difficile de déplacer les données entre elles. DPS fournit des canaux de transmission de données pour vous aider à déplacer rapidement les données entre les différents services.

Exécution de tâche par lots planifiés

L’analyse appronfondie des données exige souvent une variété de tâches complexes. DPS s’occupe de la configuration et de la planification des tâches, de la surveillance automatique, de la gestion des exceptions complexes et de la récupération des données, ce qui réduit votre charge de travail d’analyse des données.