logo

大数据

文章回答

  • 最热
  • 最新
  • 待解答
  • Kettle如何对不存在主键的数据库表进行增量更新

    • 活动
    • 开发者运营
    • 大数据
    • 云计算
    • 技术出题官
    千魔啸夜

    对增量更新到新表的数据进行行数统计,在mysql中使用limit语句进行查询(limit 新增数据库总行数,总行数加需要查询的条数)。Kettle中因为前后一共有两个变量,可以先用表输入查询出被插入数据的总行数,limit后一个字段用查询数量表示。如果查询中增加了查询条件不是对全表数据进行增量更新,如何对查询出的数据进行批量插入数据库呢?例如日期字段可以先进行排序,然后例如当日期条件大于A,小于B。新增数据将大于A作为固定条件,每次进行增量更新时候直接修改小于B的值。

    查看详情
    • 踩
    • 收藏收藏
    • 评论评论
    1回答
  • Kettle如何实现每秒限制查询速度

    • 活动
    • 开发者运营
    • 大数据
    • 云计算
    • 技术出题官
    千魔啸夜

    对kettle进行每秒查询条数的限制,可以用转换和作业两者结合进行操作。使用两个表输入,第一个表输入查询上次查询的最大可读标识。例如当主键是id的时候就先用表输入查询上一次结果的最大id,在where后面拼接id大于该最大id的数值。第二个表输入查询需要查询的语句,使用limit操作限制每次查询的条数。最后再用作业对该转换实行每秒的执行循环。

    查看详情
    • 踩
    • 收藏收藏
    • 评论评论
    1回答
  • Sugar BI页面展示可以设置查看权限么,还是通过链接所有人都可以访问

    • 大数据
    快去debug

    1.公开分享
    2.加密公开分享
    3.通过Token验证
    详细文档:https://cloud.baidu.com/doc/SUGAR/s/Uk6z5xo1o

    查看详情
    • 踩
    • 收藏收藏
    • 评论评论
    1回答
  • 大数据和云计算的关系是什么?

    • 大数据
    • 云计算
    热心市民鹿先生

    首先答主得问自己,什么是大数据?什么是云计算?思考清楚了这个问题,其实很好想明白。 也就是相互依赖的关系。通俗点说大数据和云计算之间的关系就像容器和水的关系,云计算就像一个容器,而大数据则正是存放在这个容器中的水,大数据要依靠云计算技术来进行存储和计算。 大数据必然无法用单台的计算机进行处理,必须采用分布式计算架构。它的特色在于对海量数据的挖掘,但它必须依托云计算的分布式处理、分布式数据库、云存储和虚拟化技术。而云计算的关键词在于“整合”,无论你是通过现在已经很成熟的传统的虚拟机切分型技术,还是通过Google后来所使用的海量节点聚合型技术,他都是通过将海量的服务器资源通过网络进行整合,调度分配给用户,从而解决用户因为存储计算资源不足所带来的问题。“如何存储如今互联网时代所产生的海量数据,如何有效的利用分析这些数据等等”也正是大数据时代数据的爆发式增长所带来的新的研究课题。

    查看详情
    • 踩
    • 收藏收藏
    • 评论评论
    1回答
  • 求助大神,实时大数据存储及查询分析解决方案

    • 大数据
    桃子

    你这种情况就非常适合使用基于Hadoop的HBase来存储数据,HBase不仅仅适合于做大数据的存储和处理,它的一个突出的性能优势就是写数据, 你的系统每隔10s就要写一次数据,Hbase就比较适合,最好不要使用传统的关系型数据库(例如MySql),这会让你的系统在后期出现许多性能瓶颈, 另外,HBase在数据查询上面也有提供了一些快速的优化方法,使用Hbase对数据进行读写,使用map/reduce对数据进行处理,你可以查阅相关资料看看。

    查看详情
    • 踩
    • 收藏收藏
    • 评论评论
    1回答
  • 有奖调研 | 「百度开发者沙龙」智能大数据系列活动第一期

    • Palo
    • 大数据
    查看详情
    • 踩
    • 收藏收藏
    • 评论评论
    0回答
  • 如何理解star-cubing算法?

    • 大数据
    php是最好的

    也并不清楚你是哪里不理解。。利用星数的计算过程,也就是star-cubing算法思想。总体过程深度优先遍历星树,通过自底向上聚集,在聚集过程中,利用共享维的概念(相当于自顶向下)剪枝。

    查看详情
    • 踩
    • 收藏收藏
    • 评论评论
    1回答
  • 1. Sugar和tablebu、powerbi、FineBI、WynEnterprise的区别

    • 大数据
    • Sugar
    智能云大数据架构师

    图表丰富、拖拽式编辑、交互设计、与第三方系统无缝集成

    查看详情
    • 踩
    • 收藏收藏
    • 评论评论
    1回答
  • hadoop排序问题

    • 数据库
    • 大数据
    • 云计算
    eol_tech

    可以自定义Partitioner,根据数据的特点,进行自定义分区,会适当调整CPU的合理使用。

    查看详情
    • 踩
    • 收藏收藏
    • 评论评论
    1回答
  • 想自己搭建一套日志收集系统需要学哪些东西啊

    • 大数据
    rousong

    HADOOP ?

    查看详情
    • 踩
    • 收藏收藏
    • 评论评论
    2回答
加载更多

最新活动