![[bigdata team] Практический курс по Big Data. Часть 2. Spark: from zero to hero](https://www.s7.skladchikurs.com/wp-content/uploads/2023/11/bigdata-team-prakticheskij-kurs-po-big-data-chast-2-spark-from-zero-to-hero_6553c128ee877.png)
Наведите на изображение для увеличения
На протяжении этой части курса вы будете работать со Spark: от основных терминов и RDD до Spark DataFrames и оптимизации Spark вычислений.
В этом модуле вы изучите:
cхема выполнения задачи в Spark;
основные термины Spark (job, task, stage);
представление вычислений в виде графа. Spark Python API. Spark RDD API;
Broadcast-сообщения и счетчики.
взаимодействие Hive и Spark SQL;
отличия DF от RDD.
Spark on YARN;
типы stage в Spark;
оптимизация операции shuffle;
настройка Garbage Collection, тюнинг потребления памяти.
Отзывы
Отзывов пока нет.