PySpark Profiler

PySpark 支持用于构建预测模型的自定义分析器。 分析器通过计算每列中的最小值和最大值来生成。 分析器帮助我们作为一个有用的数据审查工具，以确保数据有效并适合进一步使用。

自定义分析器必须定义以下方法

• 添加

add 方法用于将配置文件添加到现有的累积配置文件中。 用户应在创建 SparkContext. 时选择配置文件类

输出

[0, 4, 7, 9, 8, 15, 20, 18, 21, 25]
My custom profiles for RDD:1
My custom profiles for RDD:3

• Profile

它创建某种系统配置文件。

• Stats

此方法返回集合。

• Dump

它将配置文件转储到路径中。

• dump(id,path)

此方法用于将配置文件转储到路径中； 这里 id 代表 RDD id。

• Profile(func)

它对函数执行分析，并将 func 作为参数接受。

• show(id)

此函数用于将配置文件统计信息打印到标准输出。 这里的 id 是 RDD id。

• stats()

stats() 函数返回收集的分析统计信息。

class pyspark.BasicProfiler(ctx)

它是一个默认的分析器，基于 cProfile 和 Accumulator 实现。