Скачать
Скачать
Скачать
Kail
Организатор
Проверенный
- Регистрация
- 09.04.2020
- Сообщения
- 333 225
- Реакции
- 28 266
- Монеты
- 1 191
- Оплачено
- 0
- Баллы
- 0
- #SkladchinaVip
- #1
[bigdata team] Практический курс по Big Data. Часть 2. Spark: from zero to hero
- Ссылка на картинку
-
На протяжении этой части курса вы будете работать со Spark: от основных терминов и RDD до Spark DataFrames и оптимизации Spark вычислений.
В этом модуле вы изучите:
cхема выполнения задачи в Spark;
основные термины Spark (job, task, stage);
представление вычислений в виде графа. Spark Python API. Spark RDD API;
Broadcast-сообщения и счетчики.
взаимодействие Hive и Spark SQL;
отличия DF от RDD.
Spark on YARN;
типы stage в Spark;
оптимизация операции shuffle;
настройка Garbage Collection, тюнинг потребления памяти.
В этом модуле вы изучите:
cхема выполнения задачи в Spark; основные термины Spark (job, task, stage); представление вычислений в виде графа. Spark Python API. Spark RDD API; Broadcast-сообщения и счетчики. взаимодействие Hive и Spark SQL; отличия DF от RDD. Spark on YARN; типы stage в Spark; оптимизация операции shuffle; настройка Garbage Collection, тюнинг потребления памяти.