Apache Doris小米的应用

小米广告平台服务于MIUI系统之中各个产品线,包括浏览器,Feed信息流,视频流媒体。平台致力于为每个广告主提供高效、实时的统计分析。自2018年接入Doris以来,Doris以其卓越的性能和易用性得到了小米广告团的一致认可。

背景及需求

小米广告业务,从流量方看,主要在小米的各个生态产品中进行包括投屏、横幅、锁屏画报、视频广告等形式的广告展示。从广告主的角度来说,需要监测广告的定向投放效果,比如按地域、设备、时间、人群等等,并且需要根据投放的效果进行定制化的策略调整。这些使用需求,映射到OLAP场景,就是转化为不同的维度和指标,进行各种多维分析。

小米广告服务平台作为公司统一的内部平台,每天需要接收超过2TB的数据,每秒产生超过50K的事件。

 

Why Doris

  • 支持星型模型(Star Schema),方便用户建模。
  • 兼容Mysql协议,无缝适配各类BI系统,迁移学习成本低
  • 支持窗口函数,UDF。
  • 运维部署简单,支持滚动升级。
  • 支持物化视图(Materialized View),平衡了效率和存储空间。
  • 支持online schema change,适合业务的变更。

主要应用场景

广告数据从时效上可分为两类,批量和实时。批量数据存储在HDFS中,通过Doris提供的Broker Load功能进入Doris中,进行分析,数据延迟维持在分钟级别。

实时的数据,如CTR相关数据,则由Kafka经Streaming Load进入Doris,为广告主提供实时分析。为广告效果的评估、广告预算的分配提供实时性指导。

收藏 评论(2)
共2条回复 最后由没在咖啡 回复于2020-03-21 03:54
#2 没在咖啡 回复于2020-03-21

成都 cdkfpgs.wikidot.com
西安 xakfpgs.wikidot.com
昆明 kmkfpgs.wikidot.com
东莞 dgkfpgs.wikidot.com
上海 shkfpgs.wikidot.com
天津 tjkfpgs.wikidot.com
济南 jnkfpgs.wikidot.com
重庆 zqkfpgs.wikidot.com
武汉 whkfpgs.wikidot.com
贵阳 gykfpgs.wikidot.com
珠海 zhkfpgs.wikidot.com
合肥 hfkfpgs.wikidot.com
扬州 yzkfpgs.wikidot.com
茂名 mmkfpgs.wikidot.com
连云港 lygkfpgs.wikidot.com

 
  0
0
#3 没在咖啡 回复于2020-03-21

http://cdkfpgs.wikidot.com
http://xakfpgs.wikidot.com
http://kmkfpgs.wikidot.com
http://dgkfpgs.wikidot.com
http://shkfpgs.wikidot.com
http://tjkfpgs.wikidot.com
http://jnkfpgs.wikidot.com
http://zqkfpgs.wikidot.com
http://whkfpgs.wikidot.com
http://gykfpgs.wikidot.com
http://zhkfpgs.wikidot.com
http://hfkfpgs.wikidot.com
http://yzkfpgs.wikidot.com
http://mmkfpgs.wikidot.com
http://lygkfpgs.wikidot.com

http://cdkfpgs.wikidot.com


http://xakfpgs.wikidot.com


http://kmkfpgs.wikidot.com


http://dgkfpgs.wikidot.com


http://shkfpgs.wikidot.com


http://tjkfpgs.wikidot.com


http://jnkfpgs.wikidot.com


http://zqkfpgs.wikidot.com


http://whkfpgs.wikidot.com

 


http://gykfpgs.wikidot.com


http://zhkfpgs.wikidot.com


http://hfkfpgs.wikidot.com


http://yzkfpgs.wikidot.com


http://mmkfpgs.wikidot.com


http://lygkfpgs.wikidot.com

0