La veille sur Internet est un domaine assez large en fonction du champ d’exploration et des objectifs de la dite veille.
Veille technologique pour la détection de nouvelles technologies permettant de diminuer des coûts de production ou de proposer des innovations de rupture, veille sociétale pour déterminer les nouvelles tendances de consommation et le comportement des agents économiques, veille concurrentielle pour essayer de déterminer au mieux la stratégie de ses concurrents et ainsi de limiter l’asymétrie d’information…
Il existe aussi certains types de veille extrêmement spécifiques et très opérationnelles comme la veille tarifaire.
La veille tarifaire est complexe car elle nécessite d’extraire un tout petit nombre de données très ciblées et parfois de rapprocher des données éloignées (par exemple le nom d’un produit en haut de page et son prix au milieu de la page…).
Cela reste par ailleurs une des problématiques majeures de la veille sur Internet : l’extraction de la donnée et de ses méta données ou données périphériques nécessaires à la compréhension de la donnée brute (que vaut un prix si on ne sait pas à quel produit il se rapporte…) sans la noyer dans le bruit.
Ce type de veille reste donc délicat et pour cela il faut souvent travailler sur un nombre de site limité et scrupuleusement choisis (catalogue en ligne des concurrents directs ou comparateur de prix ou magasins en ligne spécialisés.)
Les solutions proposent donc souvent des connecteurs permettant de zoner certaines zones en s’appuyant sur le code HTML de la page et d’extraire le contenu ciblé.
Prenez par exemple la page suivante :
Si vous en ouvrez le code source et faites une recherche de prix (539) vous deviez tomber sur la chaîne de caractère suivante :
name="PRIXPERE" value="53995"
On voit donc que le prix est bien référencé dans la page et que de surcroît il est identifié par un attribut (name=prixpere).
Le problème est que chacun des sites structure sa page et ses prix et ses descriptions produits. Les logiciels de veille tarifaire doivent donc apprendre pour chacune des pages à reconnaître les données à extraire pour chacun des sites afin de pouvoir le faire sur un grand nombre de pages en identifiants des schémas récurrents.
Et après avoir fait cela il structure l’information en format XML, SQL ou autre afin de permettre aux utilisateurs de ces logiciels de s’interfacer avec une base de données ou un document récipiendaire des données pour post traitement (statistiques, tableaux de bords, fiches produits,…) En effet les prix surveillés, dans la plupart des cas, varient trop souvent et en trop grand nombre pour qu’il soit envisageable de mettre les outils de suivi et de reporting à jour manuellement.
…Bon…alors qui a dit que la veille sur Internet ce n’était pas un métier technique…
Alors certes on peut se contenter d’être client…mais avec des bonnes bases ça peut quand même bien aider…
Ce long préambule donc pour vous présenter des solutions que j’ai identifié dernièrement par un moyen ou un autre (me demandez pas les sources je les ai perdues de puis un moment en attendant d’avoir le temps d’écrire ce billet..)
Web Scraper Lite est un extracteur de données : il se connecte à différents sites, et permet d’extraire les données qui vous intéressent, il les structure au format XML ou autre afin qu’elles puissent s’intégrer dans votre Système d’Information ou dans vos documents d’aide à la décision. Il est aussi proposé dans sa version "Plus". Ce produit permet par ailleurs de remplir des formulaires automatiquement afin de récupérer des prix (par exemple derrière un devis d’assurance…)
Workit est quand à lui une plateforme de veille plutôt orientée en ASP et proposant une mutualisation des veilles réalisées. Je n’ai pas testé la solution mai sà lire la documentation et la présentation elle semble moins souple que la solution proposée par Web Scraper Lite. En gros, Workit veille sur un ensemble de référence et vous propose un abonnement à son service qui vous délivre un flux d’information structuré.
D’autres services du type de Workit existent dans la veille tarifaire sur le même modèle et restreignent leur activité à des secteurs particulièrement concurrentiels sur Internet tels que les voyages. Par exemple Coelis.
Bonne veille à tous! 🙂
PS : si vous en connaissez d’autres, mettez en commentaire… je me ferai une joie de faire une update du billet en fonction de vos retours.
