SparkConf

什么是 SparkConf？

SparkConf 为任何 Spark 应用程序提供配置。要在本地群集或数据集上启动任何 Spark 应用程序，我们需要设置一些配置和参数，这可以使用 SparkConf 来完成。

Sparkconf 的特性及其用法

以下是使用 PySpark 时 Sparkconf 最常用的特性：

• set(key, value)-
• setMastervalue(value) -
• setAppName(value)-
• get(key,defaultValue=None) -
• setSparkHome(value) -

考虑以下示例以了解 SparkConf 的一些属性

输出

'PySpark Demo App'

任何 spark 程序做的第一件事是创建一个 SparkContext 对象，该对象告诉应用程序如何访问集群。要完成此任务，你需要实现 SparkConf，以便 SparkContext 对象包含有关应用程序的配置信息。下面我们将详细描述 SparkContext

SparkContext

什么是 SparkContext？

当我们运行任何 Spark 应用程序时，SparkContext 是首先启动的基本组件。任何 Spark 驱动程序应用程序最重要的步骤是生成 SparkContext。它是任何 spark 派生应用程序或功能的入口。它在 Pyspark 中默认作为 sc 提供。

注意：你需要记住，创建除 sc 之外的其他变量会报错。

参数

SparkContext 接受以下参数，我们将在下面进行描述

Master

连接到 Spark 的集群的 URL。

appName

你的任务名称。

SparkHome

SparkHome 是 Spark 安装目录。

pyFiles

.zip 或 .py 文件发送到集群，然后添加到 PYTHONPATH 中。

环境

它表示 worker 节点环境变量。

BatchSize

Python 对象的数量表示 BatchSize。 如果你想禁用批处理，请将其设置为 1。 它会自动根据对象大小选择批处理大小 0，对于无限批处理大小，请设置为 1。

Serializer

它表示 Serializer，一个 RDD。

Conf

它设置所有 spark 属性。 这里有一个 L {SparkConf} 的对象。

profiler_cls

它是用于进行分析的自定义配置文件的类，尽管请确保 pyspark.profiler.BasicProfiler 是默认的。

Master 和 Appname 是这些参数中使用最广泛的参数。 以下是任何 PySpark 应用程序的初始代码。