PySpark SparkFiles

2024 年 8 月 29 日 | 阅读 2 分钟

PySpark 提供了使用 sc.addFile 上传文件的功能。我们还可以使用 SparkFiles.get 获取工作目录的路径。此外，为了解析通过 SparkContext.addFile() 添加的文件的路径，SparkFiles 中提供了以下类型的类方法，例如

get(filename)
getrootdirectory()

注意：SparkFiles 仅包含可用作所需内容的类方法。用户不应创建 SparkFiles 实例。

让我们详细了解类方法。

PySpark SparkFiles 的类方法

get(filename)

get(filename) 指定通过 SparkContext.addFile() 添加的文件的路径。

import os
class SparkFiles(object):
     """
     Resolves paths to files added through
     L{SparkContext.addFile()<pyspark.context.SparkContext.addFile>}.
     SparkFiles consist of only class methods; users should not create SparkFiles
     instances.
     """
      root_directory = None
      is_running_on_worker = False
      sc = None
      def __init__(self):
         raise NotImplementedError("Do not construct SparkFiles objects")
     @classmethod
       def get(cls, filename):
         """
         Get the absolute path of a file added through C{SparkContext.addFile()}.
         """
         path = os.path.join(SparkFiles.getRootDirectory(), filename)
         return os.path.abspath(path)
        @classmethod
        def getRootDirectory(cls):

getrootdirectory()

此类方法指定根目录的路径。基本上，它包含通过 SparkContext.addFile() 添加的整个文件。

import os
  class SparkFiles(object):
     """
     Resolves paths to files added through
     L{SparkContext.addFile()<pyspark.context.SparkContext.addFile>}.
     SparkFiles contains only classmethods; users should not create SparkFiles
     instances.
     """
      root_directory = None
      is_running_on_worker = False
      sc = None
      def __init__(self):
         raise NotImplementedError("Do not construct SparkFiles objects")
     @classmethod
      def get(cls, filename):
        ...
     @classmethod
      def getRootDirectory(cls):
         """
         Than Get the root directory which contains files added through
         C{SparkContext.addFile()}.
         """
 if cls._is_running_on_worker:
     return cls._root_directory
 else:
     # This will have to change if we support multiple SparkContexts:
     return cls._sc._jvm.spark.SparkFiles.getRootDirectory()

下一个主题PySpark StorageLevel

PySpark SparkFiles

注意：SparkFiles 仅包含可用作所需内容的类方法。用户不应创建 SparkFiles 实例。

PySpark SparkFiles 的类方法

联系信息

关注我们

教程

面试题

在线编译器

Python

Java

.Net Framework

AI, ML and Data Science

Cloud Technology

B.Tech and MCA

Web Technology

PHP

Software Testing

Technical Interview

Java Interview

Python

Web Interview

Database Interview

B.Tech / MCA

Important Interview

Software Testing Interview

Company Interviews

Online Compilers

Multiple Choice Questions

PySpark 教程

PySpark SparkFiles

注意：SparkFiles 仅包含可用作所需内容的类方法。 用户不应创建 SparkFiles 实例。

PySpark SparkFiles 的类方法

相关帖子

PySpark 数据框转 CSV

PySpark unionAll

广播和累加器

PySpark SQL

PySpark 数据框：选择列

PySpark RDD

PySpark StatusTracker

PySpark 序列化器

PySpark Profiler

PySpark Sparkxconf

订阅 Tpoint Tech

联系信息

关注我们

教程

面试题

在线编译器

注意：SparkFiles 仅包含可用作所需内容的类方法。用户不应创建 SparkFiles 实例。