logo

大数据

文章回答

  • 最热
  • 最新
  • 待解答
  • Kettle如何实现每秒限制查询速度

    • 活动
    • 开发者运营
    • 大数据
    • 云计算
    • 技术出题官
    千魔啸夜

    对kettle进行每秒查询条数的限制,可以用转换和作业两者结合进行操作。使用两个表输入,第一个表输入查询上次查询的最大可读标识。例如当主键是id的时候就先用表输入查询上一次结果的最大id,在where后面拼接id大于该最大id的数值。第二个表输入查询需要查询的语句,使用limit操作限制每次查询的条数。最后再用作业对该转换实行每秒的执行循环。

    查看详情
    • 踩
    • 收藏收藏
    • 评论评论
    1回答
  • 开发者无法注册,请修复

    • 文字识别
    • 人脸识别
    • 知识图谱
    • 语音技术
    • 自然语言处理
    • UNIT
    • 图像搜索
    • EasyDL
    • 增强现实
    • 虚拟现实
    • 机器学习
    • 深度学习
    • 百度安全
    • 论坛公告
    • 活动
    • Apache Doris
    • 开源案例
    • 数据库
    • Palo
    • 效率云
    • 开发者
    • 容器
    • CDN
    • 大赛
    • 自动驾驶
    • 计算机视觉
    • 开发者运营
    • 人工智能
    • 大数据
    • 云计算
    • 移动开发
    • iOS
    • Android
    • 移动平台应用开发
    • 开源技术
    • 无人车
    • 行业应用
    • 开源资讯
    • 存储
    • DevOps
    • 网站开发
    • 分享经验
    • 图像识别
    • 百度地图
    • 开发者平台
    • 云服务器
    • 专属服务器
    • 物理服务器
    • GPU服务器
    • FPGA服务器
    • 私有网络VPC
    • 负载均衡
    • 弹性公网IP
    • 通用技术
    • 云磁盘
    • 对象存储
    • 文件存储
    • 专有云存储
    • MySQL
    • SQLServer
    • 网站备案
    • 即时通信
    • 微服务
    • 百度地图开放平台
    • 百度大脑
    • BML
    • 工商注册
    • 测试
    • 中间件
    • 安全
    • 百度APP技术
    • 飞桨PaddlePaddle
    • 云原生
    • 超级链
    • 云通信
    • 边缘计算
    • 视频
    • 物联网
    • 企业服务
    • 智能运维
    • Apollo
    • Carlife
    • 智能小程序
    • DurOS
    • 移动APP推送服务
    • 移动APP测试服务
    • 安全资讯
    • 智能视频
    • 代码托管
    • 持续交付
    • 代码扫描
    • API商城
    • 云市场
    • 科技前沿
    • AI开发平台
    • 应用案例
    • 函数计算
    • Serverless
    • ServiceMesh
    • Kubernetes
    • 服务网格
    • Istio
    • DevOps
    • 了不起的开发者
    • 百度网盘开放平台
    • 开发者社区指南
    • 技术出题官
    • 实时音视频通讯
    • 线上直播
    • Sugar
    • 百度百舸
    • 百度沧海
    • 更多内容
    • 文心快码 Baidu Comate
    百度智能云开发者中心

    您是从哪个页面进到这个链接的,辛苦提供下上游路径

    查看详情
    • 踩
    • 收藏收藏
    • 评论评论
    3回答
  • Kettle如何对不存在主键的数据库表进行增量更新

    • 活动
    • 开发者运营
    • 大数据
    • 云计算
    • 技术出题官
    千魔啸夜

    对增量更新到新表的数据进行行数统计,在mysql中使用limit语句进行查询(limit 新增数据库总行数,总行数加需要查询的条数)。Kettle中因为前后一共有两个变量,可以先用表输入查询出被插入数据的总行数,limit后一个字段用查询数量表示。如果查询中增加了查询条件不是对全表数据进行增量更新,如何对查询出的数据进行批量插入数据库呢?例如日期字段可以先进行排序,然后例如当日期条件大于A,小于B。新增数据将大于A作为固定条件,每次进行增量更新时候直接修改小于B的值。

    查看详情
    • 踩
    • 收藏收藏
    • 评论评论
    1回答
  • Sugar BI页面展示可以设置查看权限么,还是通过链接所有人都可以访问

    • 大数据
    快去debug

    1.公开分享
    2.加密公开分享
    3.通过Token验证
    详细文档:https://cloud.baidu.com/doc/SUGAR/s/Uk6z5xo1o

    查看详情
    • 踩
    • 收藏收藏
    • 评论评论
    1回答
  • 如何理解star-cubing算法?

    • 大数据
    php是最好的

    也并不清楚你是哪里不理解。。利用星数的计算过程,也就是star-cubing算法思想。总体过程深度优先遍历星树,通过自底向上聚集,在聚集过程中,利用共享维的概念(相当于自顶向下)剪枝。

    查看详情
    • 踩
    • 收藏收藏
    • 评论评论
    1回答
  • 1. Sugar和tablebu、powerbi、FineBI、WynEnterprise的区别

    • 大数据
    • Sugar
    智能云大数据架构师

    图表丰富、拖拽式编辑、交互设计、与第三方系统无缝集成

    查看详情
    • 踩
    • 收藏收藏
    • 评论评论
    1回答
  • 求助大神,实时大数据存储及查询分析解决方案

    • 大数据
    桃子

    你这种情况就非常适合使用基于Hadoop的HBase来存储数据,HBase不仅仅适合于做大数据的存储和处理,它的一个突出的性能优势就是写数据, 你的系统每隔10s就要写一次数据,Hbase就比较适合,最好不要使用传统的关系型数据库(例如MySql),这会让你的系统在后期出现许多性能瓶颈, 另外,HBase在数据查询上面也有提供了一些快速的优化方法,使用Hbase对数据进行读写,使用map/reduce对数据进行处理,你可以查阅相关资料看看。

    查看详情
    • 踩
    • 收藏收藏
    • 评论评论
    1回答
  • 大数据和云计算的关系是什么?

    • 大数据
    • 云计算
    热心市民鹿先生

    首先答主得问自己,什么是大数据?什么是云计算?思考清楚了这个问题,其实很好想明白。 也就是相互依赖的关系。通俗点说大数据和云计算之间的关系就像容器和水的关系,云计算就像一个容器,而大数据则正是存放在这个容器中的水,大数据要依靠云计算技术来进行存储和计算。 大数据必然无法用单台的计算机进行处理,必须采用分布式计算架构。它的特色在于对海量数据的挖掘,但它必须依托云计算的分布式处理、分布式数据库、云存储和虚拟化技术。而云计算的关键词在于“整合”,无论你是通过现在已经很成熟的传统的虚拟机切分型技术,还是通过Google后来所使用的海量节点聚合型技术,他都是通过将海量的服务器资源通过网络进行整合,调度分配给用户,从而解决用户因为存储计算资源不足所带来的问题。“如何存储如今互联网时代所产生的海量数据,如何有效的利用分析这些数据等等”也正是大数据时代数据的爆发式增长所带来的新的研究课题。

    查看详情
    • 踩
    • 收藏收藏
    • 评论评论
    1回答
  • 想自己搭建一套日志收集系统需要学哪些东西啊

    • 大数据
    rousong

    HADOOP ?

    查看详情
    • 踩
    • 收藏收藏
    • 评论评论
    2回答
  • Polo与doris有的区别

    • Apache Doris
    • Palo
    • 大数据
    智能云大数据架构师

    核心代码部分基本一致,主要是基于百度智能云增加了很多云上特性

    查看详情
    • 踩
    • 收藏收藏
    • 评论评论
    1回答
加载更多

最新活动