Feature Description / 功能描述
DataFlow目前好像不支持让一个文件的某个部分或batch在上游A阶段处理完后,立刻像流水线一样流入下游B阶段,而同时其余部分还在A阶段处理,请问你们是否有加入这一流式处理的规划呢?
System Info (dataflow env) / 系统信息(dataflow env)
(DF) [root:DataFlow]$ dataflow -v
open-dataflow 1.0.10
open-dataflow version: 1.0.10
Local version : 1.0.10
PyPI version : 1.0.10
You are using the latest version.
Additional Information / 其他补充
我开发了一个大模型数据合成与增强pipeline库,https://github.com/Berdyanskov/CargoDash_preview,主要的特点是将pipeline抽象为DAG图,从而支持webui界面拖动节点建模处理流程,而节点间采用我描述的并发机制(Gemini指出这类似于Apache Flink 或 Spark Streaming)。请问你们是否有加入这一流式处理的规划呢?如有性能上的考虑,能否加入一个开关让用户指定是否启用流式处理?
Feature Description / 功能描述
DataFlow目前好像不支持让一个文件的某个部分或batch在上游A阶段处理完后,立刻像流水线一样流入下游B阶段,而同时其余部分还在A阶段处理,请问你们是否有加入这一流式处理的规划呢?
System Info (
dataflow env) / 系统信息(dataflow env)(DF) [root:DataFlow]$ dataflow -v
open-dataflow 1.0.10
open-dataflow version: 1.0.10
Local version : 1.0.10
PyPI version : 1.0.10
You are using the latest version.
Additional Information / 其他补充
我开发了一个大模型数据合成与增强pipeline库,https://github.com/Berdyanskov/CargoDash_preview,主要的特点是将pipeline抽象为DAG图,从而支持webui界面拖动节点建模处理流程,而节点间采用我描述的并发机制(Gemini指出这类似于Apache Flink 或 Spark Streaming)。请问你们是否有加入这一流式处理的规划呢?如有性能上的考虑,能否加入一个开关让用户指定是否启用流式处理?