博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
kettle转换提高性能拆分转换步骤_20161201
阅读量:5060 次
发布时间:2019-06-12

本文共 424 字,大约阅读时间需要 1 分钟。

今天是12月1号,前期用kettle做了月报自动报表的转换和作业,今天运行时候发现一个报表的程序跑起来失败,心里很纳闷,上过月刚跑的没问题,怎么会无缘无故的失败。

通过看kettle运行日志,发现一个错误,c盘left no space 也就是在系统盘上没有足够的空间存储临时表,这时候才考虑到可能是在转换的步骤里设置的步骤过多,有很多个表输入,

由于kettle输出执行顺序是自上而下,但是输入是无序的,在很多步骤同时输入的时候就会占用很大的内存,性能就会很慢。

打开那个出问题的kettle转换文件,才发现自己在这个转换里添加了接近70个步骤,也怪前期没有了解这块,因此尝试分解步骤,把一个转换拆分成多个转换,每个转换的步骤数调试控制在不会报错的结果,下午测试成功,又积累了一个经验。

 

作业执行的时候也是按照那个顺序去执行因此整个流程下来很清晰

 

转载于:https://www.cnblogs.com/Mr-Cxy/p/6123901.html

你可能感兴趣的文章
01入门
查看>>
python正则表达式
查看>>
嵌套循环连接(nested loops join)原理
查看>>
shell统计特征数量
查看>>
复习文件操作
查看>>
C#Hashtable与Dictionary性能
查看>>
10个让你忘记 Flash 的 HTML5 应用演示
查看>>
8个Python面试必考的题目,小编也被坑过 ToT
查看>>
SQL Server 使用作业设置定时任务之一(转载)
查看>>
centos 图形界面和命令行界面切换(转载)
查看>>
Maven启用代理访问
查看>>
Primary definition
查看>>
第二阶段冲刺-01
查看>>
BZOJ1045 HAOI2008 糖果传递
查看>>
发送请求时params和data的区别
查看>>
JavaScript 克隆数组
查看>>
eggs
查看>>
一步步学习微软InfoPath2010和SP2010--第七章节--从SP列表和业务数据连接接收数据(4)--外部项目选取器和业务数据连接...
查看>>
如何增强你的SharePoint 团队网站首页
查看>>
FZU 1914 Funny Positive Sequence(线性算法)
查看>>