Скачать с ютуб Организация ввода и вывода в Apache Spark - курсы по Spark в "Школе Больших Данных в хорошем качестве

Организация ввода и вывода в Apache Spark - курсы по Spark в "Школе Больших Данных

В данном видео рассматривается тема использования феймворка Apache Spark на примере демонстрации ввода и вывода при выполнении запросов к данным. Новый 3х-дневный практический курс по Анализу данных с использованием Apache Spark для специалистов по аналитике данных, разработчиков, которые хотят освоить Apache Spark. "Школа Больших Данных" г. Москва По вопросам обучения на курсах машинного обучения приглашаем в нашу «Школа Больших Данных» Обращаться по телефону: +7 (495) 41-41-121 +7 (995) 100-45-63 Чтобы не пропустить информацию о новых курсах, акциях и других событиях Школы Больших Данных, рекомендуем подписаться на нас в социальных сетях: Телеграм-канал: https://t.me/BigDataSchool_ru Facebook:   / bigdataschoolru   Вконтакте: https://vk.com/bdschool_mck LinkedIn:   / bigdataschoolru   Twitter:   / bigdataschoolr   Подписывайтесь и будьте в курсе всех интересных новинок мира Big Data вместе со Школой больших данных - https://www.bigdataschool.ru Программа курса «Анализ данных с Apache Spark Streaming, Spark SQL и GraphX» Экосистема Apache Spark — Spark RDD Архитектура Spark. Принципы работы Resilent Data Distribution (Spark RDD) Обзор компонентов Spark и их назначения Конфигурация Spark из Java. Запуск на одной или нескольких машинах. Запуск поверх hadoop Основные классы и базовый workflow — Spark RDD Spark core — работа с аккумуляторами и переменными среды Apache Spark SQL Расширение базовой системы классов- DataSet и DataFrame Получение данных из SQL-источников с помощью Spark SQL Отправка данных в SQL СУБД и работа с Hive QL Spark SQL и Hadoop Планы выполнения. Logical и physical планы. Настройки планов выполнения Spark Streaming Разница работы в режимах OLAP и OLTP. Основной workflow Виды Spark Stream-ов. Особенности исполнения streaming кода Windows в Spark Streaming Кеширование в Spark Streaming Checkpoint-ы в Spark Streaming GraphX Задачи графов в программировании. Место графов в модели распределенных вычислений Представление графов в GraphX. Создание графов Операции с графами в GraphX Выбор модели распределения графа в GraphX