创建和配置节点
Last updated
Was this helpful?
Last updated
Was this helpful?
如上一章所述,从算法区选择了组件或算法后,拖拽或双击该算法,就能新增节点并自动连线。 右键单击画布中的节点,会出现一列工具栏,包括重命名、删除节点、日志信息等,用户可根据需要进行操作。 TDInsight提供输入,组件,算法,模型,输出5大类节点,其中输入主要是数据集,直接拖拽即可使用,模型是执行过程中生成的,输出主要是可视化和模型评估,使用方法和算法类似。 因此下面分别介绍算法和组件参数的配置。
以机器学习算法中的聚类算法KMeans为例,简要说明算法参数的配置。单击算法节点,页面右侧出现参数配置框,包含三部分——算法IO参数、算法参数和资源参数。
如图所示,每个输入框下面都给出了简单的说明,用户可以根据需要调节参数。
图中给出KMeans算法的参数配置样式,不同算法对应不同的参数形式。
上图则是为该算法设置资源参数,每个参数的含义见图中说明。还可以在“描述说明”中查看介绍
TDInsight 包含4类组件:统计分析组件,机器学习组件和在线学习组件组件。同样,以机器学习组件中的Spark为例,简要说明组件参数的配置。
组件参数的配置包括两部分:组件参数和资源参数。资源参数的配置与上文类似,不再赘述。组件参数的配置分以下两步完成,
开发Spark jar包或者python脚本;
点击“作业jar包”右侧空白输入框,上传jar包或脚本。当然,也可在线编辑脚本,见图十。
就绪:任务配置成功,已经在TDInsight平台后台生成实例,等待计算集群调度。 运行中:任务已经提交集群,并在计算集群上运行 成功:节点运行成功 失败:运行失败,通常指计算集群上执行失败。 被终止:运行过程中用户强行停止执行。
特殊状态说明: 终止失败:强行停止执行操作本身失败 强制终止:终止失败以后,节点的右键菜单会有一个“强制终止”的菜单,执行后状态就是强制终止