Ingénierie des données

L'ingénierie des données fait référence à la construction de systèmes permettant la collecte et l'utilisation de données . Ces données sont généralement utilisées pour permettre des analyses ultérieures et la science des données , qui impliquent souvent l'apprentissage automatique . Rendre les données utilisables implique généralement des calculs et un stockage substantiels , ainsi que le traitement des données .

Dans les années 1970 et 1980, le terme « méthodologie d'ingénierie de l'information » (IEM) a été créé pour décrire la conception de bases de données et l'utilisation de logiciels pour l'analyse et le traitement des données. Ces techniques étaient destinées à être utilisées par les administrateurs de bases de données (DBA) et par les analystes de systèmes sur la base d'une compréhension des besoins de traitement opérationnel des organisations pour les années 1980. En particulier, ces techniques étaient destinées à aider à combler le fossé entre la planification stratégique des activités et les systèmes d'information. L'un des premiers contributeurs clés (souvent appelé le « père » de la méthodologie d'ingénierie de l'information) était l'Australien Clive Finkelstein , qui a écrit plusieurs articles à ce sujet entre 1976 et 1980, et a également co-écrit un rapport influent du Savant Institute sur ce sujet avec James Martin. Au cours des années suivantes, Finkelstein a continué à travailler dans une direction plus axée sur les affaires, qui visait à répondre à un environnement commercial en évolution rapide ; Martin a continué à travailler dans une direction plus axée sur le traitement des données. De 1983 à 1987, Charles M. Richter, guidé par Clive Finkelstein, a joué un rôle important dans la refonte d'IEM et a également contribué à la conception du produit logiciel IEM (données utilisateur), ce qui a contribué à automatiser IEM.

Au début des années 2000, les données et les outils de données étaient généralement détenus par les équipes informatiques (IT) dans la plupart des entreprises. D'autres équipes utilisaient alors les données pour leur travail (par exemple, le reporting), et il y avait généralement peu de chevauchement des compétences en matière de données entre ces parties de l'entreprise.

Au début des années 2010, avec l'essor d' Internet , l'augmentation massive des volumes, de la vitesse et de la variété des données a conduit au terme de big data pour décrire les données elles-mêmes, et les entreprises technologiques axées sur les données comme Facebook et Airbnb ont commencé à utiliser l'expression ingénieur de données . En raison de la nouvelle échelle des données, les grandes entreprises comme Google , Facebook, Amazon , Apple , Microsoft et Netflix ont commencé à s'éloigner des techniques traditionnelles d'ETL et de stockage. Ils ont commencé à créer l'ingénierie des données , un type d' ingénierie logicielle axée sur les données, et en particulier sur l'infrastructure , l'entreposage , la protection des données , la cybersécurité , l'exploration , la modélisation , le traitement et la gestion des métadonnées . Ce changement d'approche était particulièrement axé sur le cloud computing . Les données ont commencé à être traitées et utilisées par de nombreux secteurs de l'entreprise, tels que les ventes et le marketing , et pas seulement l'informatique.

Le calcul haute performance est essentiel pour le traitement et l'analyse des données. Une approche particulièrement répandue du calcul pour l'ingénierie des données est la programmation par flux de données , dans laquelle le calcul est représenté sous la forme d'un graphe orienté (graphe de flux de données) ; les nœuds sont les opérations et les arêtes représentent le flux de données. Les implémentations les plus populaires incluent Apache Spark et TensorFlow , spécifique à l'apprentissage profond . Des implémentations plus récentes, telles que Differential/Timely Dataflow, ont utilisé le calcul incrémental pour un traitement des données beaucoup plus efficace.

Les données sont stockées de diverses manières, l'un des principaux facteurs déterminants étant la manière dont elles seront utilisées. Les ingénieurs de données optimisent les systèmes de stockage et de traitement des données pour réduire les coûts. Ils utilisent la compression, le partitionnement et l'archivage des données.

Si les données sont structurées et qu'une certaine forme de traitement des transactions en ligne est requise, les bases de données sont généralement utilisées. À l'origine, on utilisait principalement des bases de données relationnelles , avec de solides garanties d'exactitude des transactions ACID ; la plupart des bases de données relationnelles utilisent SQL pour leurs requêtes. Cependant, avec la croissance des données dans les années 2010, les bases de données NoSQL sont également devenues populaires car elles ont évolué horizontalement plus facilement que les bases de données relationnelles en abandonnant les garanties de transaction ACID, ainsi qu'en réduisant l' inadéquation d'impédance objet-relationnelle . Plus récemment, les bases de données NewSQL - qui tentent de permettre une évolution horizontale tout en conservant les garanties ACID - sont devenues populaires.

Si les données sont structurées et qu'un traitement analytique en ligne est nécessaire (mais pas un traitement de transaction en ligne), les entrepôts de données sont alors un choix principal. Ils permettent l'analyse des données, l'exploration et l'intelligence artificielle à une échelle beaucoup plus grande que ne le permettent les bases de données, et en effet, les données circulent souvent des bases de données vers les entrepôts de données. Les analystes commerciaux , les ingénieurs de données et les scientifiques des données peuvent accéder aux entrepôts de données à l'aide d'outils tels que SQL ou des logiciels de business intelligence .

Un lac de données est un référentiel centralisé pour le stockage, le traitement et la sécurisation de grands volumes de données. Un lac de données peut contenir des données structurées provenant de bases de données relationnelles , des données semi-structurées , des données non structurées et des données binaires . Un lac de données peut être créé sur site ou dans un environnement basé sur le cloud à l'aide des services de fournisseurs de cloud public tels qu'Amazon , Microsoft ou Google .

Si les données sont moins structurées, elles sont souvent simplement stockées sous forme de fichiers . Il existe plusieurs options :

• Les systèmes de fichiers représentent les données de manière hiérarchique dans des dossiers imbriqués.
• Le stockage en blocs divise les données en morceaux de taille régulière ; cela correspond souvent aux disques durs (virtuels) ou aux disques SSD .
• Le stockage d'objets gère les données à l'aide de métadonnées ; Souvent, une clé telle qu'un UUID est attribuée à chaque fichier .

Le nombre et la variété des différents processus de données et des emplacements de stockage peuvent devenir écrasants pour les utilisateurs. Cela a inspiré l'utilisation d'un système de gestion des flux de travail (par exemple Airflow ) pour permettre la spécification, la création et la surveillance des tâches de données. Les tâches sont souvent spécifiées sous forme de graphe acyclique dirigé (DAG) .

Les objectifs commerciaux que les dirigeants se fixent pour l'avenir sont caractérisés par des plans d'affaires clés, avec leur définition plus marquée dans les plans d'affaires tactiques et leur mise en œuvre dans les plans d'affaires opérationnels. La plupart des entreprises reconnaissent aujourd'hui la nécessité fondamentale d'élaborer un plan d'affaires qui suit cette stratégie. Il est souvent difficile de mettre en œuvre ces plans en raison du manque de transparence aux niveaux tactique et opérationnel des organisations. Ce type de planification nécessite un retour d'information pour permettre une correction précoce des problèmes dus à une mauvaise communication et à une mauvaise interprétation du plan d'affaires.

La conception des systèmes de données implique plusieurs composants tels que l'architecture des plates-formes de données et la conception des magasins de données.

Il s’agit du processus de production d’un modèle de données , un modèle abstrait pour décrire les données et les relations entre les différentes parties des données.

Un ingénieur de données est un type d'ingénieur logiciel qui crée des pipelines ETL de big data pour gérer le flux de données au sein de l'organisation. Cela permet de prendre d'énormes quantités de données et de les traduire en informations . Ils se concentrent sur la préparation à la production des données et sur des éléments tels que les formats, la résilience, la mise à l'échelle et la sécurité. Les ingénieurs de données sont généralement issus d'une formation en ingénierie logicielle et maîtrisent les langages de programmation tels que Java , Python , Scala et Rust . Ils seront plus familiers avec les bases de données, l'architecture, le cloud computing et le développement logiciel Agile .

Les scientifiques des données se concentrent davantage sur l'analyse des données, ils seront plus familiers avec les mathématiques , les algorithmes , les statistiques et l'apprentissage automatique .