Big Data : Architecture et infrastructure

PANORAMA TECHNOLOGIQUE ET ENJEUX SOCIO-ECONOMIQUES

• Bâtir une vision Data Centric pour l'entreprise
• Etudier l'environnement concurrentiel de l'entreprise
• Comment créer de la valeur ou apporter de la valeur complémentaire aux données
• Comment utiliser les Big Data qui doivent être un levier technologique pour accompagner les enjeux métiers et non l'inverse
• Comprendre les acteurs du Big Data et leur positionnement
• Quelle vision à 3 ans

PROPRIÉTÉ DE LA DONNÉE, ENVIRONNEMENT JURIDIQUE DU TRAITEMENT, SÉCURITÉ

• La nécessité de la gouvernance des données
• Qu'est-ce qu'un CDO

ASPECTS JURIDIQUES ET ETHIQUES : QUELLES DONNEES POUR QUELS USAGES ?

• Données objectives
• Données à caractère personnel
• Quelle gestion des données personnelles ? (donnée se rapportant à une personne physique, qui peut être identifiée quel que soit le moyen utilisé)
• Quels Impact sur la vie privée
• Surveillance et sanction de la CNIL
• Déclaration préalable
• Exemples
• Présentation du socle (la finalité du traitement) et de 4 conditions
• Finalité explicite et légitime
• Loyauté dans la mise en œuvre du traitement
• Données pertinentes
• Durée de conservation non excessive
• Sécurité

IMPACT DES CHOIX TECHNOLOGIQUES EN MATIERE D'INFRASTRUCTURE ET D'ARCHITECTURE BIG DATA

• Les impacts organisationnels
• Comment positionner le Big Data face à l'existant ?
• Quelles sont les possibilités offertes par le Big Data
• Quels sont les contraintes techniques du Big Data ?
• Quelles stratégies de conservation des données (chaudes, froides, "gelées") dans le temps ?
• Exemples de mise en œuvre d'architectures Big Data
• Faut-il partir sur du commodity Hardware ou sur des appliances

QUALITE DES DONNEES DANS LES PROJETS BIG DATA

• Données, information, connaissance
• Le cycle de vie de l'information
• Les données.
• Qu'est-ce que la qualité des données ?
• La fraîcheur
• La disponibilité
• La cohérence
• La traçabilité
• La sécurisation
• L'exhaustivité.
• La démarche qualité dans le Big Data
• Motivation : Les besoins de qualité engendrés par le datalake
• La recherche de plus d'efficacité métier
• Facteurs clés de succès et bonnes pratiques
• Les 7 piliers de la qualité des données
• Les bonnes questions à se poser
• Le pilotage du projet
• La gestion des grands volumes
• Les outils en charge de la gouvernance et du cycle de vie des données des Big Data

VERS DES ARCHITECTURES DISTRIBUEES

• Rappels des principes de base des architectures distribuées
• Le stockage distribué dans HDFS
• La data localité
• YARN, le super-chef d'orchestre des applications distribuées
• Les différents frameworks distribués
• Découvrir Hive, Pig, Spark, R et Python
• Calculs et traitements distribués de la donnée
• Avantages et inconvénients des architectures distribuées
• Les performances liées aux architectures distribuées

ETUDE DE CAS

• Mise en œuvre d'une architecture Big Data, conception d'une application de reconnaissance d'images utilisant des Frameworks distribués (Pyhton, Spark)