Public Cloud – Flexible Engine

Distributed Message Service pour Kafka

[Features – Applications Services]

Un service de mise en file d’attente des messages basé sur Apache Kafka et plus particulièrement sur les instances premium de Kafka.

logo distributed message service for Kafka

Distributed Message Service (DMS) pour Kafka est un service de mise en file d’attente des messages basé sur Apache Kafka et plus particulièrement sur les instances Kafka premium. Les ressources de calcul, de stockage et de bande passante utilisées par une instance sont exclusivement occupées par l’utilisateur.

Apache Kafka est un middleware de messages distribués qui offre un débit élevé, la persistance des données, l’évolutivité horizontale et le traitement des données en continu. Il adopte le modèle de publication et d’abonnement et est largement utilisé pour la collecte de journaux, le streaming de données, l’analyse de systèmes en ligne/hors ligne et la surveillance en temps réel.

Scénario 1 : Communication asynchrone

Les messages non essentiels ou moins importants sont envoyés de manière asynchrone aux systèmes récepteurs, de sorte que le processus du service principal n’est pas obligé d’attendre les résultats des autres systèmes, ce qui permet des réponses plus rapides.

Par exemple, Kafka peut être utilisé pour envoyer un courriel et un SMS de notification après qu’un utilisateur s’est inscrit sur un site web, fournissant ainsi des réponses rapides tout au long du processus d’inscription.

Figure 1 Enregistrement et notification des séries

Distributed message service for Kafka - Figure 1 (Serial registration and notification)

Figure 2 Enregistrement et notification asynchrones à l’aide de files de messages

Scénario 2 : Synchronisation des logs

Les applications envoient de manière asynchrone des messages de logs aux files d’attente de messages via des canaux de transmission fiables. D’autres composants peuvent lire les messages du journal à partir des files d’attente de messages pour une analyse plus approfondie, en temps réel ou hors ligne. En outre, Kafka peut collecter des informations clés sur les logs pour surveiller les applications.

Processus de synchronisation des logs :

distributed message service for Kafka - log synchronization process

Avantages

Déploiement rapide

Il suffit de définir les informations relatives à l’instance sur la console DMS for Kafka, de soumettre votre commande et une instance Kafka premium complète sera automatiquement créée et déployée.

Migration des services sans modifications

DMS pour Kafka est compatible avec les API de Kafka open-source et supporte toutes les fonctions de traitement des messages de Kafka open-source. Si vos services d’application sont développés sur la base de Kafka open-source, vous pouvez facilement les migrer vers DMS pour Kafka après avoir spécifié quelques configurations d’authentification.

Sécurité

Les opérations sur les instances premium Kafka sont enregistrées et peuvent être auditées. Les messages peuvent être chiffrés avant d’être stockés. En plus de SASL, les cloud privés virtuels (VPC) et les groupes de sécurité permettent également de contrôler l’accès au réseau.

Fiabilité des données

Les instances Kafka premium supportent la persistance et la réplication des données. Les messages peuvent être répliqués de manière synchrone ou asynchrone entre les répliques.

Haute disponibilité

Kafka fonctionne en clusters, ce qui permet le basculement et la tolérance aux pannes afin que les services puissent fonctionner sans problème. Les instances premium de Kafka peuvent être déployées sur les AZ pour améliorer encore la disponibilité des services.

Simple O&M

Le cloud public fournit un ensemble de services de surveillance et d’alarme, éliminant ainsi la nécessité d’une présence 24h/24 et 7j/7. Un ensemble de paramètres d’instance Kafka premium sont surveillés et rapportés, notamment le nombre de partitions, de sujets et de messages accumulés. Vous pouvez configurer des règles d’alarme et recevoir des notifications par SMS ou par e-mail sur le fonctionnement de vos services en temps réel.

Des spécifications flexibles

Vous pouvez personnaliser la bande passante et l’espace de stockage pour l’instance et le nombre de partitions et de répliques pour les sujets dans l’instance.

Fonctions

Le tableau suivant décrit les fonctions visibles par les locataires. Ces fonctions n’incluent pas les fonctions O&M.

CategoryFunctionDescription

Basic functions

Creating a queue

Creates a queue for receiving and sending messages.
Two options are provided at the same time: one is selecting queue type for standard or FIFO.


Viewing queues

Lists the brief information about all queues of a tenant.

Viewing queue details

Lists the details of a queue, and the details of the groups that consume messages in this queue.

Deleting queues

Deletes one or multiple specified queues.

Sending messages to a specified queue

Sends messages (including message content and user-defined message attributes) to a specified queue.

Creating a message consumer group for a specified queue

Creates a message consumer group with a specified name. Application can consume message from a queue using a message consumer group.


Consuming messages in a specified queue

With this function, you can choose the type of message, including normal, the number of automatically consumed messages and the interval between consuming messages. You can also view the content, size, and sending time of each message, and stop message consumption.

Confirming message consumption

Submits message consumption confirmation to a message queue after each instance of message consumption.


Managing queues

Manages message queues through the web-based DMS console.


Accessing message queues

Accesses message queues through RESTful APIs for standard queue and FIFO queue.

Monitoring

CES

For details, see the CES Product Description.

ante. commodo Praesent mattis tristique lectus risus. dapibus neque. ut Donec elit.