巴士为您推荐： spark python编程指南 pdf 电子版

spark python编程指南pdf是一本全面介绍Python语言的书籍，作者首先简明扼要地介绍了Python的语句、模块、数据类型、函数和模块等基础知识，然后通过大量的示例程序，详细介绍了Python在Tkinter脚本、数据库、数学/科学函数、服务器、字符串和其他数据类型、系统操作、游戏和人工智能方面的应用。

spark python编程指南概述

从概念上来说，每个spark程序都由一个驱动程序组成，驱动程序运行用户的main函数并且在集群上执行各种并行操作. Spark中的主要抽象概念是弹性分布式数据集(RDD), RDD是分布在集群各节点上的可并行操作的元素集合。 RDD可以通过hdfs中的文件创建，也可以通过驱动程序中的集合(例如Python中的List)转化而成。 用户还可以把RDD保存在内存中，供后续的并行操作高效重复使用. 并且, RDD可以从节点失效中自动恢复.Spark的另外一个抽象概念是可以并行操作的共享变量(shared variables). By default, when Spark runs a function in parallel as a set of tasks on different nodes默认情况下，Spark以任务(task)集的方式在不同节点上并行执行函数,每个任务都会获得一份变量的拷贝。 有些情况下，变量需要在任务之间共享，或者再任务和驱动程序之间共享。为了解决这样的应用场景，Spark支持两种类型的共享变量：一种是广播变量( broadcast variables), 这种变量可以缓存在所有节点的内存中；另外一种是累加器(accumulators)，种变量只能增加，例如计数器或者求和.本文将会以Python语言为例介绍Spark的这些特性。通过启动Spark交互shell非常容易学习这些特性，Python版的交互shell是bin/pyspark 。

python编程指南特色

1.它教给你编写代码的正确途径

2..它以清晰而简练的方式解释了python语言的语法以及编程技巧

3.辅以大量例子阐明正确的使用方法和通用特性

4.你将学习到如何将python运用到实际问题中