2019年9月26日 晴

1,154 views
SQLScan问题,检查进度,比如文件头注释,文件格式等,提供参考样例。
评审实时到货模型。
评审物理号表的代码。
评审供应履历事实表的代码。
基于供应履历事实表,输出供应事实表和接口表的实现。
基于物理号表,输出接口表的实现。
配置调度任务,验证有效性。
配置BIDS接口,因平台原因,暂不成功,已有解决办法,待验证。
整理API清单的模板,组织开发同事完善,包括实时和离线。

晚上在一类环境执行演练,做初始化数据的准备工作,发现很多问题:
1. 脚本格式不正确,脚本为dos格式,在Linux下执行报错。初步看,开发人员提交代码时未对格式做处理。
2. 现有任务启动框架不支持离线运行,因此代码需要上传到HDFS。
3. 任务配置文件中,默认的配置不正确,对任务运行有影响。
4. 初始化数据的操作,最好增加对应的配置,保证使用正确的队列。
5. 初始化操作依赖的表,前期已经在一类环境上创建过,但本次演练时,任务运行到一半,发现很多表被删除了,导致任务失败,只好重新创建表,再重跑任务。由于数据量比测试环境数据量大,所以花费了不少时间等待任务运行结束。
6. 实施方案里缺少自验证报告。
7. 实施方案里缺少验证数据的检查SQL。
8. 后续在一类环境演练前,务必在测试环境做完整的自验证,提高效率。

总结一下,发现不少问题,期望明天操作的时候可以顺利一点。



若非注明,均为原创,欢迎转载,转载请注明来源:2019年9月26日 晴

关于 JackieAtHome

基层程序员,八年之后重新启航

此条目发表在 日志 分类目录。将固定链接加入收藏夹。