点的示例包括存储系统(如数据湖、数据仓库)和数据源(包括物联网设备、交易处理应用程序、API 或社交媒体)。
目的地
数据最终要传输到的最终点是目的地。目的地由数据管道的用例决定。它还可用于运行分析工具和支持数据可视化。
否则,它也可以被移动到像数据仓库或数据湖 乌拉圭 电话列表 这样的存储中心。
数据流
数据在管道中从一个点移动到另一个点。这还包括沿途发生的任何变化,甚至包括途中的数据中心。
加工
一组步骤和活动,包括从不同来源获取数据、存储和转换数据并最终将其传送到指定目的地。数据处理侧重于实现此模式,因为它与数据流相关。可以通过从源系统中提取数据来提取数据,然后使用数据复制来复制数据,甚至可以简化这些数据。
贮存
任何在数据沿管道移动时将其存储在特定阶段的系统都称为存储。选择数据存储时,请考虑不同的方面,例如数据量和用途,或将发送到存储系统的查询数量和频率。
工作流
任何任务序列及其相互依赖关系均由管道中的工作流定义。作业是任何分配的工作单元,将执行与数据相关的特定任务。数据进入管道的源头称为上游,而下游是指数据将流向的最终目的地。数据就像水一样顺着管道流动。请注意,首先,需要先完成上游作业,然后才能开始下游任务。
监控
这会检查数据管道及其所有阶段的工作情况。这包括在数据负载增加时保持效率,并确保在经过不同流程时保持一致和准确,而不会丢失任何信息。