Kettle如何对不存在主键的数据库表进行部分的增量更新
当Kettle对不存在主键并且有重复的数据进行部分的增量更新时,在不破坏新增原有表结构的时候,如何判断Kettle查询的数据是数据库需要更新的存在的当前游标位置?
例如:
查询当前该数据若每次只允许查询一条数据插入到新数据库表中,1,2两条数据重复,如何查询才能获得最新的数据行而不重复?
对增量更新到新表的数据进行行数统计,在mysql中使用limit语句进行查询(limit 新增数据库总行数,总行数加需要查询的条数)。Kettle中因为前后一共有两个变量,可以先用表输入查询出被插入数据的总行数,limit后一个字段用查询数量表示。如果查询中增加了查询条件不是对全表数据进行增量更新,如何对查询出的数据进行批量插入数据库呢?例如日期字段可以先进行排序,然后例如当日期条件大于A,小于B。新增数据将大于A作为固定条件,每次进行增量更新时候直接修改小于B的值。