实时计算
Last updated
Was this helpful?
Last updated
Was this helpful?
本用户指南主要针对腾讯实时计算StreamSQL开发的相关操作及使用所应包含的内容做统一的文档说明。实时计算主要分为两块,一个是任务管理模块,用于对实时计算任务进行管理,包括实时计算任务的创建、删除、更新、启动、停止、任务导入导出;另外一个是库表管理模块,主要是编辑保存经常使用的库表以便于后面创建任务的时候直接选择,减少任务库表信息的重复编辑。
登录套件的门户网站,点击实时计算模块
点击任务管理导航进入任务管列表页面
点击新建任务按钮,进入新建任务页面。新建任务的信息分为三块:任务信息、库表信息和脚本信息
任务信息:任务信息中填写任务的基本配置信息,包括任务名称、任务描述、选择任务的责任人及所属项目。脚本信息是计算的sql脚本。
扩展配置numWorkers代表任务在storm上需要启动多少个worker。
库表信息:库表信息是配置脚本信息中需要使用的表信息,库表分为源表、目标表和维表三类。源表只能为流水表,代表计算数据的主要来源。维表是一些静态数据,在计算过程需要关联的表。结果表是计算的存储位置。库表信息可以从模板中选择,也可以新增,每个库表信息填写完整后可以点击测试验证该库表是否连通。
以上三个模块的信息都填写完整后可以点击预编译按钮,查看脚本是否能编辑通过。
注意项:在申请使用hippo表时需要配置生产组和消费组权限,在使用kafka表时需要配置生产组权限。Hippo权限申请参考《tbds-hippo使用手册》
Kafka topic和hbase表的权限分配需要联系管理员申请,权限申请入口如下:
1.进入运维中心
2.进入访问管理模块
以上所需的表的权限申请通过之后才能在SQL中使用,否则在任务运行过程中会有权限异常抛出。
注意项:脚本编译异常会有错误提示
脚本编辑通过后点击保存,进入任务列表页面启动任务。
任务会异步下发到storm集群,任务的状态会每隔30s刷新一次。
任务导入功能:为了将已有的任务方便的迁移到其他平台,可以选择任务点击任务导出,任务脚本会打包下载,解压后可以看到任务脚本。
任务导入功能:将已有的任务脚本导入到系统生成任务。