6.1 输出模式(output mode)

6.1.1 Append 模式(默认)

默认输出模式, 仅仅添加到结果表的新行才会输出.

采用这种输出模式, 可以保证每行数据仅输出一次.

在查询过程中, 如果没有使用 watermask 机制, 则不能使用聚合操作. 如果使用了 watermask 机制, 则只能使用基于 event-time 的聚合操作.

watermask 用于高速 append 模式如何输出不会再发生变动的数据. 即只有过期的聚合结果才会在 Append 模式中被"有且仅有一次"的输出.

6.1.2 Complete 模式

每次触发, 整个结果表的数据都会被输出. 仅仅聚合操作才支持.

同时该模式使用 watermask 无效.

6.1.3 Update 模式

该模式在 从 spark 2.1.1 可用. 在处理完数据之后, 该模式只输出相比上个批次变动的内容(新增或修改).

如果没有聚合操作, 则该模式与 append 模式一直. 如果有聚合操作, 则可以基于 watermast 清理过期的状态.

6.1.4 输出模式总结

不同的查询支持不同的输出模式

Copyright © 尚硅谷大数据 2019 all right reserved,powered by Gitbook
该文件最后修订时间: 2019-08-14 19:18:55

results matching ""

    No results matching ""