Mot-clé: BI

Qu’est-ce qu’un ETL?

Sans vouloir absolument revenir sur le sujet [sic!], les entreprises d’aujourd’hui doivent de plus en plus composer avec l’infobésité. Les données sont partout…mais pas toujours à la bonne place…dans différents formats et sans valeur uniforme. Tout un casse-tête!

Les entreprises ont besoin d’une façon efficace d’analyser leurs données afin de prendre de meilleures décisions d’affaires. Les bases de données standard ne peuvent pas toujours répondre à ces questions parce que cela nécessite de croiser de multiples sources d’informations ensemble.

C’est ici que le processus ETL (Extract – Transform – Load) entre en jeu. L’ETL est un programme qui accède à de multiples sources de données disparates, en fait l’extraction, les manipule et les intègre dans un référentiel commun – l’entrepôt de données ou data warehouse.

  1. Extract
    L’ETL peut travailler avec une multitude de formats, structurés (bases de données standard), semi-structuré (ex. courriels, logs) non-structuré (ex. document Word).
  2. Transform
    Dans sa partie transformation, il permet de convertir les données et de procéder à une série d’opération permettant, par exemple, d’éliminer les doublons, l’information superflue, les joindre à d’autres données, les agréger, etc.
  3. Load
    Finalement, la partie « load » ne se limite pas à insérer les informations dans l’entrepôt de données. Cette étape permet également de faire une validation des règles d’insertion, de s’assurer de l’intégrité et la conformité des données, de détecter et de corriger les erreurs potentielles.

Le processus ETL peut être préprogrammé, selon un horaire (ex. à tous les jours à 19h). Les informations qui sont stockées dans l’entrepôt de données peuvent ensuite être traitées et analysées directement ou via des plateformes d’intelligence d’affaires.

architecture_bi

source : Atol CD – Les ETL open source

Quelques liens pertinents :

PartagezTweet about this on TwitterShare on FacebookShare on LinkedInShare on Google+Email this to someone

Le prix à payer…pour les données

Les organisations doivent, plus que jamais, être en mesure de pouvoir compter sur des informations de qualité pour assurer leur pérennité. Toutefois, le rythme auquel nous produisons les données s’est accéléré à un point tel qu’il est aujourd’hui difficile séparer le bon grain de l’ivraie. L’infobésité rend la tâche colossale! Comment tirer le maximum des données en circulation? Comment reconnaître les sources sûres et éviter les faux-pas qui coûtent cher?

À partir du mois de mars, nous publierons une série d’articles qui s’attardera aux diverses informations permettant aux entreprises d’en connaître davantage sur la concurrence, les tendances du marché, la clientèle potentielle, les consommateurs et leurs comportements, etc.

Nous aborderons quelles sont les bonnes pratiques, les pièges à éviter…et quelques conseils qui pourront vous faire épargner temps et argent!

Nous vous invitons à partager vos réflexions ici ou sur twitter en utilisant #leprixapayer

C’est un rendez-vous!

PartagezTweet about this on TwitterShare on FacebookShare on LinkedInShare on Google+Email this to someone

l’utilisation du Big Data en entreprise

Mardi dernier se tenait la 4e edition du colloque Action-TI organisé par la section Mauricie-Centre-du-Québec. Sous le thème « Les TI…et si on les abordait sous toutes leurs formes », on y a présenté une vingtaine de conférences de qualité qui touchaient à un bon nombre de secteurs d’activités – allant de la gestion de projet aux infrastructures technologiques.

Nous avons eu la chance d’y donner une présentation sur l’utilisation du Big Data en entreprise, un concept actuellement éloigné de la réalité des organisations mais qui ne tardera pas à devenir un incontournable – compte tenu des nombreux défis que doivent  relever les entreprises qui sont plus que jamais sous pression de la concurrence.

Résumé de la conférence

On produit une quantité astronomique de données – envrion 5 exabytes à tous les 2 jours.

L’entreprise qui saura extraire, transformer et utiliser l’information est une entreprise qui détient du pouvoir – une longueur stratégique sur ces concurrents.

Toutefois, il est difficile d’y voir clair – considérant que le volume de données à traiter est gigantesque.

L’utilisation du Big Data, qui permet de réunir et de traiter une grande quantité d’information afin d’en obtenir des résultats concrets devient donc une alternative à considérer.

On remarque 3 phases dans une stratégie d’utilisation du Big Data:

  1. Le stockage : qui se fait maintenant de manière semi-structuré via notamment des bases de données noSQL telles que Cassandra ou MongoDB.
  2. Le traitement : le principal framework de développement est Hadoop – un projet issu de Apache. Son architecture de traitement distribué sur plusieurs ordinateurs permet de traiter une grande quantité de données rapidement et efficacement via l’algorithme MapReduce.
  3. La visualisation des données : un domaine en soit – mais qui vise à représenter de manière simple et clair les résultats de l’analyse effectuée. De nombreux outils existent à ce sujet, notamment Tableau Software ou Statwing. Les données peuvent également être réintégrés dans les CRM ou les outils d’intelligence d’affaires traditionnels tels que Pentaho ou Jaspersoft.

Bien évidemment – on ne le répètera jamais assez – l’organisation qui souhaite  se doter d’une telle infrastructure doit impérativement procéder à une analyse complète de ses besoins et de ses capacités. Parmi les principaux points à regarder, mentionnons :

  • Les coûts
  • La pertinence des données
  • La fidélité des informations
  • La pérennité
  • La conservation
  • Etc.

Finalement, les bénéfices à utiliser le big data sont nombreux. Le fait de pouvoir compter sur un outil d’aide à la décision rapide et optimisé est de loin l’avantage le plus important. Toutefois, une entreprise qui saura correctement intégrer ce nouvel aspect dans l’analyse de son environnement pourra bénéficier :

  • D’une vue globale de ses activités
  • De valeur ajoutée à ses données internes
  • D’une synthèse  de l’ensemble de ses informations
  • … et plus encore!

Nous profitons de cette tribune pour lever notre chapeau à toute l’équipe d’Action TI et particulièrment la dynamique équipe de Nmédia Solutions qui ont su faire de cet événement un succès. Bravo à tous!

PartagezTweet about this on TwitterShare on FacebookShare on LinkedInShare on Google+Email this to someone