Avez-vous besoin d’une intégration de données en temps réel ?

July 17, 2020 · Henning Lund · Intégration de données

La plupart des responsables informatiques à la recherche d’une solution d’intégration de données souhaitent une intégration en temps réel. C’est souvent ce qu’ils veulent, mais rarement ce dont ils ont besoin.

L’intégration de données en temps réel est en quelque sorte le nirvana de l’intégration de données. Pourquoi ne pas synchroniser instantanément vos sources de données si vous le pouvez ? Pourquoi attendre que les informations soient transférées plus tard quand vous pouvez les obtenir tout de suite ?

On comprend aisément leur volonté de rationaliser et d’optimiser au maximum les processus métier de leur entreprise. Reste à savoir s’ils ont réellement besoin d’un transfert instantané des informations. Dans bien des cas, un traitement périodique des données par lots suffit à couvrir leurs besoins.

Disposer d’informations à jour est important pour toute entreprise. Cela ne signifie pas pour autant que toutes les entreprises tireraient profit d’une véritable intégration de leurs données en temps réel. Pour certaines, une solution de traitement par lots sera plus adaptée. D’autres choisiront peut-être de combiner les deux approches.

Des solutions comme RapidiOnline proposent une gamme de formules couvrant tous les besoins d’intégration de données, en temps réel ou non.
 

Qu’est-ce que l’intégration de données en temps réel ?

Commençons par définir l’intégration de données. Sa définition est très simple et directe : l’intégration de données consiste à collecter et à combiner des informations (ou données) issues de différentes sources. Les entreprises y ont recours pour rassembler les données de diverses sources dans une vue consolidée et unifiée.

L’intégration de données s’appuie sur différentes technologies et méthodes et suit différentes architectures. Par exemple, des services peuvent accéder à une ou plusieurs sources et y collecter des données avant de les charger dans un système cible.

La définition de l’intégration en temps réel est assez relative. L’intégration de données en temps réel désigne le traitement et le transfert de données d’un système à un autre dans un délai très restreint. Le vrai temps réel correspondrait à un transfert instantané des données. À défaut, le plus proche possible de l’instantané.

Comme une intégration réellement instantanée peut être difficile à atteindre, on parle souvent d’intégration en temps réel « proche » ou « souple » (par opposition à « strict »). Il existe en effet diverses techniques d’intégration de données en temps réel qui permettent une synchronisation « presque » instantanée.

Les entreprises qui veulent faire de l’analytique en temps réel ont besoin d’entrepôts de données alimentés par des informations à jour à 100 %. Elles veulent maîtriser totalement leurs processus de chaîne d’approvisionnement et intégrer instantanément leurs sources de données. Le plus souvent, même si ces organisations doivent accéder aux données en temps réel, ce n’est pas d’une intégration en temps réel strict qu’elles ont besoin.

De nombreuses entreprises peuvent fonctionner avec une intégration de systèmes reposant sur des méthodes de traitement par lots. Lorsque le traitement par lots est utilisé pour l’intégration de données, la solution collecte les données, les stocke et les traite par groupes plutôt qu’une à une. Le traitement par lots est idéal si vos processus de travail n’exigent pas de transferts de données immédiats.

Selon la définition de l’intégration en temps réel, chaque donnée est traitée et transférée dès sa création. Comme ce type de système d’intégration peut ajouter une charge importante aux systèmes sources, mieux vaut y réfléchir attentivement.

Il peut être utile de vous inspirer des bonnes pratiques du domaine. Choisir entre intégration en temps réel, intégration en quasi temps réel, traitement par lots ou d’autres options déclenchées reposant sur des services web n’est pas toujours simple. Le bon choix dépend beaucoup de vos processus métier et de vos exigences.

Quelles sont les limites de l’intégration de données en temps réel ?

Si l’intégration en temps réel ressemble au Saint Graal de l’intégration de données, elle n’est pas totalement sans défaut. Même en 2020, mettre en place une intégration de données en temps réel peut être difficile, car :

• elle peut obliger les entreprises à moderniser leur infrastructure informatique, ce qui peut coûter très cher.
• une mauvaise qualité des données et, plus généralement, une faible intégrité des données compliquent l’intégration de données en temps réel.
• les volumes de données collectés peuvent être énormes, surtout à l’ère du big data. Cela exige une gestion des données avancée, que très peu d’entreprises sont aujourd’hui en mesure d’assurer.

Si la valeur de l’intégration de données en temps réel est facile à reconnaître, sa mise en œuvre n’est pas encore si simple. Aujourd’hui, les flux de données sont si importants que l’on parle de données en streaming.

Les données en streaming désignent le flux continu de données provenant d’un nombre croissant de sources. Ces évolutions de la collecte de données ne rendent ni la collecte, ni le traitement, ni l’intégration des données plus faciles.

De nouvelles applications apparaissent chaque jour et apportent aux entreprises des données supplémentaires potentiellement précieuses. Le défi ne consiste pas seulement à gérer des volumes de données croissants. Il faut aussi savoir quelles données sont pertinentes et, bien sûr, comment les traiter pour qu’elles apportent une réelle valeur.

 

Pourquoi le besoin d’intégration en temps réel a-t-il augmenté ?

Au cours des dernières décennies, le nombre d’applications et de systèmes externes utilisés par les entreprises pour collecter des données a augmenté de façon exponentielle. Aujourd’hui, on désigne ces énormes quantités de données sous le nom de big data, et la gestion des entrepôts de données est devenue un enjeu essentiel pour toute entreprise.

Comme indiqué plus haut, les entreprises collectent des données à partir de nombreuses solutions et applications différentes. Il peut donc être difficile d’obtenir une vue unifiée des données. Si ces sources ne sont pas intégrées, les entreprises se retrouvent avec des silos de données qui apportent peu de valeur à leurs processus.

La gestion des données est devenue, et restera, une fonction vitale de l’entreprise. Dans ce contexte, de nombreuses organisations font appel à un intégrateur de données pour les aider à connecter ces systèmes.

Les informations clients occupent une place centrale dans cette collecte de données, et de nombreuses entreprises utilisent Salesforce comme solution de gestion de la relation client (CRM) privilégiée. Le CRM n’est pas la seule source d’informations clients. La plupart des entreprises utilisent aussi un progiciel de gestion intégré (ERP) pour collecter et traiter les informations de commande et de facturation de leurs clients.

Certaines entreprises gèrent leurs opérations avec des systèmes de gestion de la chaîne logistique. De même, les systèmes de gestion des services peuvent eux aussi collecter des informations clients pertinentes.

Les informations clients finissent ainsi stockées dans des systèmes distincts. Les entreprises ne peuvent donc obtenir une véritable vue à 360 degrés de leurs clients qu’en intégrant Salesforce à leur ERP. Pour relever ce défi, il existe différentes plateformes d’intégration de données.

De nombreuses plateformes d’intégration sont basées dans le cloud et utilisent des services web. Certaines proposent un traitement des données par lots, d’autres mettent en avant le traitement en temps réel. Reste à savoir si le temps réel est vraiment nécessaire.

La plupart des entreprises qui souhaitent intégrer Salesforce à une solution ERP ont rarement besoin d’une intégration en temps réel. C’est vrai pour toute solution CRM. C’est aussi le cas pour toute solution ERP Microsoft Dynamics : AX, NAV, GP, 365 Business Central ou 365 for Finance & Operations.

 

Scénarios d’intégration Salesforce en temps réel

Il est intéressant d’examiner les besoins qui motivent les projets d’intégration de données en temps réel. Les entreprises qui lancent un projet d’intégration de données pour connecter leurs systèmes ERP et CRM veulent généralement :

• supprimer les doubles saisies.
• éliminer le risque d’erreurs manuelles.
• optimiser et rationaliser les processus pour que les équipes n’aient pas à chercher les informations dans plusieurs systèmes.
• gagner en productivité, car les équipes disposent de données fiables.

La plupart de ces avantages s’obtiennent facilement sans intégration de données en temps réel. À moins que votre entreprise n’évolue dans un environnement où chaque seconde compte, vous n’avez probablement pas besoin d’une synchronisation instantanée de vos données.

Un besoin de transferts réellement en temps réel peut exister. Ce serait le cas, par exemple, si vos activités sont étroitement liées à des transactions boursières. Une véritable intégration en temps réel serait alors nécessaire. Si vos transferts de données ne sont pas aussi sensibles au temps, il y a de fortes chances que vous puissiez vous en passer.

Pourquoi pense-t-on avoir besoin d’une intégration Salesforce en temps réel

La plupart des entreprises qui intègrent Salesforce CRM à une solution ERP comme Microsoft Dynamics souhaitent avant tout intégrer :

• les informations clients (comptes et contacts)
• les informations produits ou articles
• les informations tarifaires
• les informations de devis et de commandes

Parfois, elles veulent aussi transférer l’historique des ventes et les informations de paiement de leur ERP vers leur CRM. Ce sont les besoins les plus courants de la grande majorité des entreprises. Le besoin d’intégration est indéniable. Il ne s’agit toutefois pas d’un besoin de transferts instantanés.

Imaginons que vous créiez un devis dans Salesforce, mais que le calcul du prix doive être effectué dans la solution ERP. À quelle fréquence aurez-vous besoin de ce résultat instantanément ? La plupart des gens peuvent attendre quelques minutes que l’information revienne de l’ERP.

La génération de devis, la création de commandes et la mise à jour des données clients ne sont pas des processus critiques en termes de délai. Ils peuvent facilement attendre quelques minutes avant d’être transférés dans l’autre système. Lorsque vous modifiez l’adresse d’un client dans Salesforce, quelle est la probabilité que quelqu’un ait besoin de cette information exactement au même moment, sans pouvoir attendre quelques secondes ?

Souvent, la demande de transferts instantanés n’a rien à voir avec un besoin réel de processus en temps réel. Mettre en place la fréquence de transfert la plus élevée possible répondra toujours à tous les besoins. C’est l’approche « mieux vaut prévenir que guérir ». Mais cette approche peut coûter cher.

En général, cette approche présente des limites importantes, notamment un coût élevé et une charge sur les systèmes sources.

Outils d’intégration de données Salesforce en temps réel

Il est rare de rencontrer des entreprises qui ont vraiment besoin d’une intégration de données Salesforce en temps réel, même à l’ère de la business intelligence, du big data et des sources de données multiples. C’est pourquoi de nombreuses solutions d’intégration proposent différents niveaux de fréquence de transfert.

La plupart des meilleurs outils d’intégration Salesforce affirment pouvoir assurer une intégration Salesforce en temps réel. Ces affirmations sont probablement fondées. MuleSoft, Jitterbit, Boomi et même Salesforce proposent une offre d’intégration en temps réel pour Salesforce CRM.

En règle générale, les performances de l’intégration en termes de délai dépendent fortement de la méthode d’intégration de données utilisée par ces fournisseurs. Trouver l’outil d’intégration optimal, c’est aussi trouver la solution conçue pour fonctionner avec un impact minimal sur les systèmes intégrés.

L’intégration de données en temps réel peut imposer une charge importante au système source et au système de destination. C’est particulièrement le cas si vous transférez à chaque fois toutes les données d’un système à l’autre. Il est judicieux de choisir un outil d’intégration de données qui ne transfère que les données nouvelles ou modifiées.

RapidiOnline apporte une réponse astucieuse à ce défi. Cette plateforme d’intégration de données basée dans le cloud permet aux entreprises de décider précisément à quelle fréquence les transferts doivent s’exécuter.

Avec RapidiOnline, il est possible d’effectuer les transferts par groupes, toutes les 5 ou 10 minutes selon un planning défini. L’intégration peut même être planifiée une fois par heure si c’est ce dont vous avez besoin. La solution d’intégration de données dans le cloud prend également en charge des besoins d’intégration de systèmes plus fréquents.

RapidiOnline vous permet de décider que certains processus plus sensibles au temps déclencheront un transfert immédiat. Ce pourrait être le cas, par exemple, à chaque création de devis. Lorsqu’un tel « événement » se produit, l’information est immédiatement transférée dans la file d’attente pour traitement. Vous avez ainsi la garantie que cette information est envoyée directement dans la file d’attente des transferts.

Et si votre processus métier est beaucoup plus sensible au temps et ne peut pas attendre d’être placé dans la file d’attente des transferts ? Et si vous voulez qu’il soit traité immédiatement ? Dans ce cas, RapidiOnline offre la possibilité d’ajouter un service web qui placera votre transfert critique en tête de la file d’attente. Cette solution vous offre une alternative aussi proche que possible du temps réel, sans ajouter de charge inutile à vos systèmes. C’est une solution très flexible, et elle coûte moins cher que d’autres intégrations Salesforce en vrai temps réel.

L’intégration de données en temps réel est-elle ce dont vous avez besoin ?

Le temps réel n’est pas toujours la meilleure approche d’intégration de données pour une entreprise. Il est généralement coûteux et parfois même pas plus rapide qu’une intégration en « quasi » temps réel telle que décrite ci-dessus. Le temps réel ne sera jamais plus rapide que la vitesse à laquelle le système traite les données.

Si le temps est l’élément déterminant de votre décision, sachez qu’une intégration de données 100 % en temps réel peut être une illusion. Dès que les données doivent être transférées, elles doivent aussi être traitées, ce qui peut prendre du temps. Même si le transfert est immédiat, vous ne le percevrez pas forcément comme instantané.

La plupart des entreprises peuvent répondre à leurs exigences en combinant des transferts déclenchés et des solutions d’intégration en quasi temps réel. Ce type de combinaison couvre de loin la plupart des optimisations de processus métier des entreprises de toutes tailles.