Skip to content

分布式处理 #374

@cuiyah

Description

@cuiyah

Feature Description / 功能描述

当前的数据处理模式主要是:来回读写本地 json 文件,需要频繁的磁盘 IO 操作(如 FileStorage)。

数据加工步骤越多,处理流程就越长,IO操作越频繁。面对大规模数据时,这将可能成为性能瓶颈,将来是否会考虑进一步优化分布式处理能力,比如融合Ray?

System Info (dataflow env) / 系统信息(dataflow env

/

Additional Information / 其他补充

No response

Metadata

Metadata

Assignees

No one assigned

    Labels

    enhancementNew feature or request

    Type

    No type
    No fields configured for issues without a type.

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions