S par k

Apuntes

S par k • ¿Qué es Apache Spark? o Es un motor de computación distribuida para procesamiento y análisis de datos a gran escala. o Está diseñado para el procesamiento en memoria, lo que mejora significativamente el rendimiento en comparación con los enfoques tradicionales basados en disco. • Ventajas Clave: o Alta velocidad y eficiencia en el procesamiento de conjuntos de datos masivos. o Flexibilidad para manejar varios tipos y fuentes de datos (estructurados, no estructurados). o Soporte para múltiples lenguajes: Scala, Python, Java y R. • Arquitectura Básica: o Driver: Coordina la ejecución. o Cluster Manager: Asigna recursos y administra los nodos. o Workers: Ejecutan tareas distribuidas. • Componentes Clave de Apache Spark: o Spark Core: El fundamento de Spark; maneja la ejecución de tareas y la gestión de la memoria. o RDDs (Resilient Distributed Datasets): Abstracción de datos. o Spark SQL: Consulta y procesamiento de datos estructurados utilizando DataFrames y Datasets. o Spark Streaming: Procesamiento de flujos de datos en tiempo real. o MLlib: Biblioteca de Machine Learning para análisis predictivo. o GraphX: Procesamien...