CERTIFICATS

Ce module donne un aperçu du Big Data, de la compréhension de l'écosystème du Big Data, de la mise en place de l'environnement comme l'installation du vm Cloudera, les corrections du cluster GCP et l'installation du cluster sur Google Cloud.

Ce module explore les concepts des 4V's Volume, Variety, Velocity et Veracity et les concepts de HDFS et des commandes Hadoop ainsi qu'une vue d'ensemble de l'écosystème Yarn.

Ce module présente Sqoop, la gestion des répertoires cibles, le travail avec le format de fichier Parquet, le travail avec le format de fichier Avro, le travail avec différentes compressions, les importations conditionnelles, les requêtes Split-by et Boundary, les délimitations de champs, les ajouts incrémentaux, Sqoop-Hive Cluster Fix, Sqoop Hive Import et Sqoop List Tables/Database.

Ce module explore le système de fichiers distribués Hadoop (HDFS), l'architecture et les composants HDFS et l'étude de cas analysant les ensembles de données Uber à l'aide du cadre Hadoop.

Ce module fournit des connaissances sur le cadre de traitement distribué MapReduce, le traitement distribué dans MapReduce, l'étude de cas Flipkart a évité WannaCry, Ransomwar, les terminologies MapReduce, les phases d'exécution des cartes, les tâches MapReduce, la construction d'un programme MapReduce et enfin la création d'un nouveau projet.

Ce module présente l'idée de Hive SQL Over Hadoop Map reduce, Hive Case study, Hive Architecture, Hive Meta Store, Hive DDL et DML, Hive Data types, File Format Types, Hive Data Serialization, Hive Optimization Partitioning Bucketing Skewing, Hive Analytics UDF and UDAF, Assisted Practice Working with Hive Quer Editor and concepts of Apache Pig and Components of Pig.

Ce module explique les sujets NoSQL, HBase Overview, HBase Architecture, HBase Data Model, Connecting to HBase and Assisted Practice Data Upload from HDFS to HBase.

Ce modèle présente les concepts d'ingestion de données dans les Big Data à l'aide d'un ETL, Aperçu de l'ingestion de données, Apache Kafka, Modèle de données Kafka, Architecture Apache Kafka, Apache Flume, Modèle Apache Flume et Composants dans l'architecture de Flume.

Ce modèle présente les concepts de Python tels que les modes de Python, les applications de Python, les variables en Python, les opérateurs en Python, les instructions de contrôle en Python, les instructions de boucle en Python, les opérations de liste, l'échange de deux chaînes de caractères, la fusion de deux dictionnaires, les fonctions Python, la programmation orientée objet en Python, les modificateurs d'accès, les concepts de programmation orientée objet et les modules en Python.

Ce module couvre des sujets tels que les types de Big Data, les défis posés par les solutions traditionnelles, le traitement des données dans le Big Data, le calcul distribué et ses défis, MapReduce, Apache Storm et ses limites et la solution générale Apache Spark.

Ce module explique les composants de Spark, l'architecture de Spark, le cluster Spark dans le monde réel, l'introduction à PySpark Shell, la soumission d'un travail PySpark, l'interface Web de Spark et le déploiement d'un travail PySpark.

Ce module couvre l'architecture Spark SQL Spark SQL, Spark - Context, User - defined Functions, User - defined Aggregate, Functions, Apache Spark DataFrames, Spark DataFrames - Catalyst Optimizer, Interoperating with RDDs, PySpark DataFrames, Spark - Hive Integration, Create DataFrame Using PySpark to Process Records and UDF with DataFrame.

Ce module présente les méthodes de calcul traditionnelles et leurs inconvénients, l'introduction à Spark Streaming, le traitement en temps réel des Big Data, les architectures de traitement des données, Spark Streaming, l'introduction aux DStreams, les points de contrôle, les opérations d'état, les opérations de fenêtrage, la source de Spark Streaming et Apache Spark Streaming.

Ce module fournit les connaissances sur Spark Structured Streaming, Batch vs Streaming, Architecture Structured Streaming, Use Case Banking, Transactions, Structured Streaming APIs, Usecase Spark Structured Streaming et Working with Spark Strutured Application.

Ce module présente l'idée des graphes, les cas d'utilisation de GraphX, Spark GraphX, les opérateurs GraphX, le système parallèle de graphes, les algorithmes dans Spark, l'API Pregel et les cadres de graphes.