Faut-il basculer les traitements analytiques dans le data warehouse ?

Attention, le Data Warehouse va bouger ! Aster y croit et il n’est pas le seul ! C’est incontestablement le buzz du moment : il faut faire exécuter les traitements analytiques dans le data warehouse. C’est le crédo d’analystes réputés tels que James Kobielus de Forrester et il faut dire qu’avec les architectures MPP, il est bien tenant d’exploiter ces magnifiques grilles de serveurs pour du calcul. Ca va à l’encontre du concept d’appliance spécialisé, mais faut bien avouer que c’est bien tentant à cet époque où le TCO, le ROI l’emporte souvent sur le bon sens. Car la crainte majeure c’est que par exemple un calcul de scoring pour le site web ne mette le data warehouse à genoux au moment où il faut lancer une analyse des ventes et que le boss attend ses chiffres asap… Avec la version 4.0 de nCluster, Aster annonce avoir une solution.

La solution de gestion de la charge implémentée par Aster dans nCluster 4.0

Faire du Data Warehouse un « serveur d’application » voila une idée dans l’air et qui semble pertinente, plus particulièrement lorsqu’on a déployé une architecture MPP. Bien évidemment la question n’est pas d’exécuter SAP R/3 sur les processeurs du Data Warehouse néanmoins Aster n’hésite pas a évoquer des applications temps réel. L’idée d’Aster Data Systems est donc d’exploiter son architecture MapReduce pour exécuter du code Java, C/C++, C#, Perl, Python, Ruby, R voire des applications packagées. L’éditeur donne quelques applications dans le domaine du data mining, du prédictif, des calculs d’optimisation, du text mining, des procédures d’agrégation de données, etc. L’éditeur vante le « Pervasive parallelism » de nCluster, sa solution mais le gros intérêt de l’annonce de la version 4.0 c’est la gestion dynamique de la charge qui doit assurer une charge serveur prédictible et garantir, pour chacune des charges, le niveau de service défini. L’enjeu est de taille car il s’agit de garantir des taux de charge sur des tâches réparties sur un grand nombre de noeuds, y compris sur des tâches de type temps réel. L’éditeur donne peu de détails sur l’implémentation elle-même. Le système s’appuie sur un moteur de règles qui va appliquer les différentes politiques de sécurité mises en place pour les applications chargées sur le Data Warehouse. Le système est annoncé comme dynamique, les tâches peuvent être ré-allouées selon la charge des noeuds du système. On est ici aux frontières du grid computing.