Автор: Rajanarayanan Thottuvaikkatumana
Издательство: Packt Publishing
Год: 2016
Страниц: 206
Язык: английский
Формат: PDF (изначально электронное издание - eBook), 24 Мб
ISBN: 1785885006
Аннотация книги на русском
Spark является одним из наиболее широко используемых крупномасштабных процессоров обработки данных с отличными показателями быстродействия. Это структура, в которой есть инструменты, которые одинаково полезны для разработчиков приложений, а также для ученых, занимающихся анализом данных. Язык SparkR или «R on Spark» в инфраструктуре Spark открыли двери для обработки данных Spark пользователям R.
Эта книга начинается с основ Spark 2.0 и охватывает основную структуру обработки данных и установку API, начальные стадии разработки приложений. Затем модель программирования Spark вводится через реальные примеры, за которыми следует программирование Spark SQL с помощью DataFrames. Далее рассматривается введение в SparkR. Далее мы расскажем о функциях построения диаграмм и использовании Python в сочетании с обработкой данных Spark. После этого мы рассмотрим обработку потоков (stream processing) и машинное обучение при помощи Spark, а также библиотеки обработки графов. Последняя глава сочетает в себе все навыки, которые вы изучили в предыдущих главах, для разработки реального приложения Spark.
Что вы узнаете из книги
- Изучите основы Spark 2.0 и модели программирования Spark с использованием Scala и Python
- Узнаете, как использовать Spark SQL и DataFrames с помощью Scala и Python
- Получите вводные навыки программирования Spark с использованием R
- Выполните обработку данных Spark, составление диаграмм и построение графика с использованием Python
- Ознакомитесь с обработкой потоков на Spark с помощью Scala и Python
- Получите представление о машинном обучении с помощью Spark с использованием Scala и Python
- Научитесь обрабатывать графы с помощью Spark на Scala
- Самостоятельно разработаете полное приложение на Spark
Аннотация книги на английском
Spark is one of the most widely-used large-scale data processing engines and runs extremely fast. It is a framework that has tools which that are equally useful for application developers as well as data scientists. SparkR or “R on Spark” in the Spark framework opened the door of Spark data processing capability to the R users.
This book starts with the fundamentals of Spark 2.0 and covers the core data processing framework and API, installation, and application development setup. Then the Spark programming model is introduced through real-world examples followed by the Spark SQL programming with DataFrames. An introduction to SparkR is covered next.Later, we cover the charting and plotting features of Python in conjunction with Spark data processing. After that, we take a look at Spark’s stream processing, machine learning, and graph processing libraries. The last chapter combines all the skills you learned from the preceding chapters to develop a real-world Spark application.
What You Will Learn
- Get to know the fundamentals of Spark 2.0 and the Spark programming model using Scala and Python
- Know how to use Spark SQL and DataFrames using Scala and Python
- Get an introduction to Spark programming using R
- Perform Spark data processing, charting, and plotting using Python
- Get acquainted with Spark stream processing using Scala and Python
- Be introduced to machine learning with Spark using Scala and Python
- Get started with with graph processing with Spark using Scala
- Develop a complete Spark application
In Detail
Spark is one of the most widely-used large-scale data processing engines and runs extremely fast. It is a framework that has tools that are equally useful for application developers as well as data scientists.
This book starts with the fundamentals of Spark 2 and covers the core data processing framework and API, installation, and application development setup. Then the Spark programming model is introduced through real-world examples followed by Spark SQL programming with DataFrames. An introduction to SparkR is covered next. Later, we cover the charting and plotting features of Python in conjunction with Spark data processing. After that, we take a look at Spark's stream processing, machine learning, and graph processing libraries. The last chapter combines all the skills you learned from the preceding chapters to develop a real-world Spark application.
By the end of this book, you will have all the knowledge you need to develop efficient large-scale applications using Apache Spark.
Style and approach
Learn about Spark's infrastructure with this practical tutorial. With the help of real-world use cases on the main features of Spark we offer an easy introduction to the framework.
Скачать книгу из интернета:
