Le NOUVEL ACHAT

Aller au contenu | Aller au menu | Aller à la recherche

vendredi, février 15 2019

La qualité des données indispensable à l'intelligence artificielle

poor data

Comment libérer le potentiel de l’IA si les données sont pauvres en qualité ? Tel est le défi posé à la technologie et la mission critique du master data management. La qualité des données est une priorité à la mesure d’une transformation digitale devenue vitale pour l’entreprise.

Automatisation de processus, RPA et IA sont des technologies prometteuses à fort potentiel dans le traitement de données, mais fondamentalement limitée par la faible qualité ou l’inexactitude des informations avec lesquelles ces systèmes opèrent. Les coûts de non qualité dus à la médiocrité des données gérées quotidiennement représentent des sommes considérables et inacceptables pour les entreprises.

La qualité des données est le facteur limitant le plus important dans la réussite d’un plan de digitalisation et la recherche d’une plus grande automatisation des processus. La question du nettoyage des données (data cleansing) n’est pas nouvelle et constitue un prérequis incontournable si l’on veut qu’en aval que les décisions qui en découlent soient cohérentes. La détection et la correction des erreurs est devenue un domaine clé du master data management.

Un problème majeur des systèmes de données est qu'ils sont de plus en plus décentralisés multiples et virtualisés; les coûts de nettoyage deviennent alors prohibitifs. Naissent alors des processus itératifs qui impliquent souvent que des enregistrements inexacts soient traités et intégrés avant même d'être validés, ce qui entraîne une escalade des coûts de gestion dans le traitement des erreurs. Ces coûts sont largement sous-estimés car l’impossibilité de validation en amont fait que les erreurs sont entrainées en aval des processus et deviennent difficiles à identifier, tracer et corriger en remontant à la source à travers plusieurs systèmes et opérations. La tentation est forte pour le data scientist d’exporter les données dans Excel pour les retraiter manuellement. Ce processus manuel est fastidieux et limite les gains obtenus de la numérisation et de l’automatisation, ajoutant encore au potentiel d'erreur le facteur humain. L’analyse est rendue délicate par l’aléa et le caractère non fiable de certaines données. Selon l’étude Forrester (1) 38% des entreprises (sur 235 sondées) passent plus de 30% de leur temps à valider les données.

Vers une nouvelle ère de la qualité des données

La technologie fait du nettoyage des données post-activité une approche révolue et largement dépassée par les avantages offerts par les réseaux intelligents. Grâce à la technologie, les entreprises sont maintenant en mesure de tirer le meilleur parti de la puissance d’outils de validation et d’analyse intégrés directement à des réseaux intelligents (smart network). En validant les données par le biais de règles prédéfinies avant que les données ne soient intégrées dans le système, ils réduisent le temps de réponse et augmentent l'efficacité. Le nettoyage ex-post devient inutile. Un exemple est donné par l’opérateur de service de dématérialisation qui va opérer une validation et un formatage des données provenant d’un fournisseur avant intégration dans l’ERP de son client ; autre exemple, le PIM (Product information management) très utilisé dans la santé ou l’alimentaire, va synchroniser les données d’un partenaire commercial avec un référentiel de produits servant de master data à l’ensemble d’une communauté.

Une des conclusions de l’étude Forrester est que cette stratégie doit être fondée sur un écosystème. En effet, la variété des systèmes, l’accroissement du volume de données, l’hétérogénéité des formats constituent un défi pour les systèmes de validation. A plus grande échelle, un des écueils du MDM qui consiste à renommer, éliminer ou dédoublonner certaines données se rencontre désormais à une échelle plus grande. L’ERP ne suffit plus et un traitement en profondeur, devient indispensable.

Une première approche consiste à s’entendre au sein de cette communauté sur le choix de standards ou de référentiels communs mais cette approche trouve aussi ses limites car elle se heurte très vite aux spécificités et exigences sectorielles. Des réseaux intelligents intégrant des outils de validation prennent le relais et permettent alors aux entreprises de tirer tous les bénéfices de leur master data. En offrant par exemple un système de vérification de la conformité ou l’imposition de références précises dans les commandes clients ou les factures fournisseurs. Si le master data est correctement défini dans toutes ses composantes et dispose de données pertinentes, il devient alors le composant essentiel du système de données de l’entreprise. Il révèle alors tout le potentiel de l'automatisation des processus RPA, de l'IA et du machine learning.

Qualité des données et MDM sont intimement liés

S’il est possible de conduire un projet qualité des données sans master data, l’inverse n’est pas vrai. A petite erreur grand dommage. En effet, le master data en tant que cœur du SI intègre le référentiel et l’ensemble des règles. Il est lui-même soumis à d’autres règles de gouvernance (propriété, production, mise à jour, évolution, criticité, risque etc.) comme à des politiques de gestion (sécurité, privacy, confidentialité, secret économique etc.) Le master data en tant que pivot du système de données de l’entreprise rend ensuite possible toutes les transformations, l’inférence de nouvelles règles, le passage de données brutes au données agrégées ou structurées ; facilite le reporting, l’analyse (data analytics) l’identification des écarts, voire le prédictif etc. Nous rejoignons à ce stade le domaine ou l’IA peut exercer toute sa pertinence.

Prenez le cas de données clients. Les données sont stockées dans des silos multiples, des systèmes hétérogènes sont maintenus par des services différents tels que la marketing, les ventes, le support technique, le delivery etc. Ceux qui ont effectué ce travail découvrent qu’il existait souvent plusieurs enregistrements de clients pour chaque emplacement de compte client dans des applications telles que Salesforce, l’ERP ou le système de commande client.

Quels gains attendre ?

La qualité des données augmente la productivité et génère des gains de temps mesurables, tout en rationalisant et en accélérant les processus. La qualité des données n'a pas seulement pour but de réduire les coûts. La qualité permet d’insuffler une nouvelle agilité à l’entreprise. Les services gagnent en visibilité alimentant de nouvelles initiatives métier, l'amélioration de l'expérience client, l'augmentation des ventes croisées, la dynamisation du chiffre d'affaires par l'amélioration des produits et services, le développement d'innovations ouvrant la voie à de nouveaux marchés, ou encore la promotion d'informations décisives, plus rapidement exploitables. A l’ère de l’IOT (2) et des objets connectés ce travail est névralgique pour libérer tout le potentiel de l’IA sans lequel aucun résultat ne sera réellement exploitable. Malheureusement, la plupart des données qui touchent les entreprises ne sont ni structurées ni classifiées. Elles ne sont donc pas adaptées à l'apprentissage supervisé « machine learning » et encore moins au « deep learning ».

« A key benefit of Deep Learning is the analysis and learning of massive amounts of unsupervised data, making it a valuable tool for Big Data Analytics where raw data is largely unlabelled and un-categorized (3) » .

Un Master Data de qualité facilite grandement la mise en conformité du SI. Le règlement sur les données personnelles s’inscrit dans une logique de veille active et continue. Savoir où résident vos données sensibles et où elles sont utilisées. Le master data vous permet de prouver que vos données sont utilisées en conformité et que vous savez les sécuriser. Enfin le master data simplifie la réalisation de processus documentés toujours requis dans les phases d’audit.

Le travail sur la qualité du MDM est donc indispensable pour réduire les coûts d’implémentation de politiques comme le RGPD fortement impactantes pour le SI, tout en permettant de garantir à l’entreprise une conformité permanente et une réactivité immédiate à la survenance de nouvelles mesures. De ce point de vue, le MDM rend possible la gouvernance sur les données.

D’une révolution à l’autre, digitale cette fois, la data représente cet or noir de l’ère numérique. Les données sont aujourd’hui et demain encore plus appelées à investir progressivement tous les domaines de l’économie et de l’entreprise. Ne pas gérer ses données reviendrait à ne pas disposer d’Internet. Pour organiser et exploiter les données, le MDM est au cœur des décisions et permet le redéploiement agile des politiques au sein de l’organisation. Sans un travail sur la qualité des données, pas de MDM et donc impossibilité d’une vision cohérente. Il est urgent d’agir et faire de la qualité des données une priorité dont le ROI est quasi immédiat. Les entreprises qui survivront à la révolution digitale en cours seront celle qui auront pris la mesure d’un tel enjeu.

  • (1) The Forrester Wave™: Data Quality Solutions, Q4 2015
  • (2) IOT, Internet of things
  • (3) Deep learning applications and challenges in big data analytics – Journal of Big Data (2015)

vendredi, mai 18 2018

Paper scanning conditions

docscan

In a recent provision dated march 22nd 2018 the french tax authority has define the conditions required for scanning and eArchiving of paper invoices

Companies receiving or issuing paper invoices can scan their invoices and keep them in electronic for six years…. the conversion of invoices originally paper to electronic must be done under conditions ensuring identical reproduction. The result of this digitization must be an exact copy of the original reproducing image and content

The digitization process comes also with the obligation of securing invoices with a reliable audit trail (as defined in the VAT directive) that is to say that eArchiving of the original paper document must be recorded and documented and is subject to internal controls, to ensure the availability, readability and integrity of the digitized invoices kept for the period of retention. Documented means also, that the different phases of the digitization are described and explained. It's up to every company to do regular checks, under their own responsibility.

The original invoice remains a faithful and durable copy for the VAT deductibility. But in case of audit the administration may consider that the scanning has not been done properly, hence, requiring the original paper version. Therefore, be careful before permanently deleting the paper originals.

Finally, the BOFIP considers that an electronic copy which allows to archive the image of the invoice (pdf image) will not be allowed (from July 1st, 2018) and is replaced by the scanning of the original invoice by the issuer. Companies that do not wish to keep a copy of their paper invoices in a physical storage may potentially face the risk that the tax authority may request a hard copy of the original.

Reference :

  • LPF article A102B (fiscal audit book) and BOFIP article 100 and following (fiscal law)


mercredi, mai 31 2017

Retards de paiement : 11,6 jours en moyenne en France

fraude

11,6 jours. Tel est le retard moyen de paiement en France, tous secteurs confondus, pour 2015-2016, selon le rapport de l’observatoire des délais de paiement, rendu public le 22 mars dernier.
Ce résultat global dissimule de nombreuses disparités. Dans le secteur privé, l’évolution des délais interentreprises (calculée sur la base des données comptables de la banque de France) montre une grande stabilité : le solde du crédit s’établit à 12 jours de chiffres d’affaires, comme en 2014. Mais ces délais varient en fonction de la taille des sociétés, les plus grosses se comportant plus mal que les petites sur ce plan. Moins d’une grande entreprise sur deux paie son fournisseur à temps, contre deux PME sur trois. Pour l’observatoire, ce constat met en évidence la persistance d’un rapport de force favorable aux grands groupes, les petites structures acceptant ce retard par crainte de perdre un client important ou de détériorer une relation commerciale. Trois secteurs sont particulièrement touchés par cette dérive : la construction, le soutien aux entreprises, l’information et la communication. Ainsi, dans le secteur du BTP, qui continue d’être affecté par la pratique des délais cachés de la part de certains clients privés et publics, les paiements sont encaissés en moyenne à 64 jours. Le secteur du soutien au crédit flirte à 76 jours de délai global de paiement et celui de la communication culmine à 78 jours.
Ce phénomène, qui freine l’installation d’un climat de confiance entre les acteurs économiques, est loin d’être négligeable : 32% des entreprises sont affectées par ces retards, les obligeant à recourir au financement court terme pour équilibrer leur trésorerie. L’observatoire estime que, si l’ensemble des créances et des dettes fournisseurs étaient payés à 60 jours, la trésorerie nette libérée s’élèverait à 11 milliards d’euros par an.

mardi, avril 25 2017

Copie fiable, numérisation et conservation des factures

docscan

Avec la digitalisation des processus, on assiste à une multiplication des textes fixant de nouvelles conditions de numérisation des documents, pour la facturation celle des factures originales comme les pièces justificatives constitutives de la piste d’audit.

L’arrêté du 7 janvier 2016 vient préciser les conditions de mise en œuvre de l’article L102B du Livre de procédure fiscale visant à établir des contrôles documentés pour l’établissement d’une piste d’audit fiable constitutive d’un des trois moyens de sécurisation des factures électroniques au sens de l’article 289 VII. Cet arrêté entérine la possibilité de numérisation et de conservation des pièces justificatives sous la condition d’une reproduction à l’identique.

Le transfert des documents mentionnés au I bis de l’article L. 102 B établis originairement sur support papier vers un support informatique est réalisé dans des conditions garantissant leur reproduction à l’identique. Le résultat de cette numérisation est la copie conforme à l’original en image et en contenu.

Le document ainsi numérisé sera conservé sous format PDF (pour assurer la portabilité et la pérennité du format) et assorti d’une signature électronique RGS « référentiel général de sécurité » de niveau 1 étoile. Gardons ce dernier point en mémoire. Nous constaterons plus loin que l’administration fiscale offre une plus grande souplesse dans le niveau de certification requis par rapport aux dispositions prévues par le législateur sur la copie fiable.

Quelle définition pour la copie fiable ?

Rappelons d’abord que le juge reste souverain quant à l’appréciation de la valeur probatoire d’un document et qu’aucun système ne peut se substituer à cette décision en produisant preuves irréfragables mais seulement ayant un caractère de présomption simple valable jusqu’à preuve du contraire. Avec la transformation numérique, il devenait indispensable de dépoussiérer certains textes comme l’article 1379 du code civil, c’est l’objet du décret du 5 décembre 2016 qui vient préciser les conditions par lesquelles une copie numérique présente les conditions de fiabilité suffisantes pour constituer une copie conforme à l’original. Dans cette hypothèse, le procédé de reproduction s’il est électronique devra remplir plusieurs conditions, je cite : Le procédé de reproduction par voie électronique doit produire des informations liées à la copie et destinées à l'identification de celle-ci. Elles précisent le contexte de la numérisation, en particulier la date de création de la copie. La qualité du procédé doit être établie par des tests sur des documents similaires à ceux reproduits et vérifiée par des contrôles.



L’intégrité de la copie est par ailleurs attestée par une empreinte électronique qui prévient et permet de détecter toute modification ultérieure. Cette condition étant remplie soit par une signature électronique qualifiée, soit un cachet serveur qualifié, soit un horodatage qualifié au sens du règlement (UE) n° 910/2014 du Parlement européen et du Conseil du 23 juillet 2014 c’est eIDAS. Ce texte a deux implications :

  • Le système de production de preuves et notamment d’archivage électronique aujourd’hui régit par la norme NF Z42-013 qui établit les conditions techniques de conservation et d’intégrité de documents nativement électroniques par scellement numérique se voit étendu au champ de la numérisation pour les documents originaux papier.
  • A la différence du document électronique, le document papier doit passer par une phase de numérisation, procédé dont la qualité devra être établie et attestée par des tests et vérifiés par des contrôles.

La nouvelle norme NF Z42-026 pour la chaîne de numérisation

C’est pourquoi en réponse au législateur, la normalisation devait accoucher elle aussi d’un avatar de la NFZ 42-013 qui transposée au chantier de numérisation donne naissance à la NFZ 42-026 dont la promulgation est prévue en mai de cette année. Cette norme vise à établir par différents moyens les modes contrôle et de vérification et de tests portant à la fois sur le dispositif technique, les fichiers traités et la chaîne dans son ensemble permettant d’attester la fiabilité du procédé de numérisation. Retenons simplement, que par ces mesures le législateur vise évidemment à prévenir que tout risque de production de faux. Il est facile d’imaginer que des documents originaux papier pourraient par le traitement d’une chaîne de numérisation retrouver une certaine virginité par la disparition de mentions gênantes.

La numérisation des factures papier originales

Pour parachever ce vaste chantier de digitalisation, un dernier arrêté en date du 22 mars 2017 vient modifier l’article L102B du Livre de procédure fiscale en rendant possible le remplacement de l’original par une numérisation dont elle est la copie conforme. Le transfert des factures établies originairement sur support papier vers un support informatique est réalisé dans des conditions garantissant leur reproduction à l’identique. Le résultat de cette numérisation est la copie conforme à l’original en image et en contenu.

Les opérations d’archivage des factures sont définies selon une organisation documentée, permettant des contrôles internes et garantissant la lisibilité, l’intégrité et la disponibilité des factures. Les factures sont conservées dans un format présentant une portabilité et une pérennité pour la durée de conservation précisant qu’il s’agit de PDF A/3 (ISO 19005-3). Enfin le fichier sera assorti cumulativement :

  • d’un cachet serveur fondé sur un certificat conforme, au moins au référentiel général de sécurité (RGS) de niveau une étoile ;
  • d’une empreinte numérique ; d’une signature électronique fondée sur un certificat conforme, au moins, au référentiel général de sécurité (RGS) de niveau une étoile ;
  • Ou de tout dispositif sécurisé équivalent fondé sur un certificat délivré par une autorité de certification figurant sur la liste de confiance française (Trust-service Status List -TSL)
  • Chaque fichier est horodaté, au moins au moyen d’une source d’horodatage interne, afin de dater les différentes opérations réalisées.

En résumé

De notre point de vue, concernant le procédé de numérisation, le législateur plutôt de trancher dans le vif en établissant une position définitive ouvre largement la porte à l’interprétation du juge. En cas de litige, le juge devra forger son intime conviction à partir d’un certain état de l’art et d’un faisceau de preuves attestant de la fiabilité. Sur le plan fiscal, il est désormais possible de digitaliser la facture fournisseur comme des pièces justificatives de la piste d'audit et de les conserver sur le même système d'archivage. L’administration fiscale fixe un niveau d’exigence plus faible pour le certificat électronique RGS 1* que le niveau qualifié prévu par le code civil qui lui s'est calé sur le règlement eIDAS, il n’exclue pas toutefois la possibilité pour l’opérateur de disposer d’un certificat émis par une autorité présentant le niveau qualifié requis par le TSL. En contrepartie le niveau d’exigence est plus élevé sur le dispositif technique qui cumule les fonctions de scellement numérique et d’horotage.

tabscan

Référence des textes :

  • Arrêté du 7 janvier 2016 relatif aux modalités de numérisation des documents constitutifs des contrôles documentés et permanents mis en place par une entreprise mentionnés au 1er du VII de l’article 289 du code général des impôts
  • Décret n° 2016-1673 du 5 décembre 2016 relatif à la fiabilité des copies et pris pour l'application de l'article 1379 du code civil
  • Arrêté du 22 mars 2017 fixant les modalités de numérisation des factures papier en application de l’article L. 102 B du livre des procédures fiscales

- page 1 de 22