数仓设计

1227-李同学

发表文章数:84

热门标签

首页 » 大数据 » 正文

需求

  1. 实时采集埋点的用户行为数据
  2. 实现数据仓库分层搭建
  3. 每天定时导入业务数据
  4. 根据数据进行报表分析

项目框架

技术选型

  • 数据采集传输:Flume,Kafka,Logstash,DataX,Sqoop
  • 数据存储:Hive,Mysql,HDFS,HBase,S3
  • 数据计算:Spark,Hive,Tez,Filnk,Storm
  • 数据查询:Presto,Impala,Kylin

系统架构图设计

数仓设计

系统数据流程设计

数仓设计

框架版本选型

产品 版本
Hadoop 2.7.2
Flume 1.7.0
Kafka 0.11.0.2
Kafka Manager 1.3.3.22
Hive 1.2.1
Sqoop 1.4.6
Mysql 5.6.24
Azkaban 2.5.0
Java 1.8
Zookeeper 3.4.10

注意事项:框架选型尽量不要选择最新的框架,选择最新框架半年前左右的稳定版。

集群资源规划设计

数仓设计

数据生成模块

埋点数据基本格式

  • 公共字段:基本所有安卓手机都包含的字段
  • 业务字段:埋点上报的字段,有具体的业务类型
    下面就是一个示例,表示业务字段的上传。
{
"ap":"xxxxx",//产品字段 app key
"cm": {  //公共字段
		"mid": "",  // (String) 设备唯一标识
        "uid": "",  // (String) 用户标识
        "vc": "1",  // (String) versionCode,程序版本号
        "vn": "1.0",  // (String) versionName,程序版本名
        "l": "zh",  // (String) 系统语言
        "sr": "",  // (String) 渠道号,应用从哪个渠道来的。
        "os": "7.1.1",  // (String) Android系统版本
        "ar": "CN",  // (String) 区域
        "md": "BBB100-1",  // (String) 手机型号
        "ba": "blackberry",  // (String) 手机品牌
        "sv": "V2.2.1",  // (String) sdkVersion
        "g": "",  // (String) gmail
        "hw": "1620x1080",  // (String) heightXwidth,屏幕宽高
        "t": "1506047606608",  // (String) 客户端日志产生时的时间
        "nw": "WIFI",  // (String) 网络模式
        "ln": 0,  // (double) lng经度
        "la": 0  // (double) lat 纬度
    },
"et":  [  //事件
            {
                "ett": "1506047605364",  //客户端事件产生时间
                "en": "request",  //事件名称
                "kv": {  //事件结果,以key-value形式自行定义
                    "your key1": "your value1",
                    "your key2": "your value2",
                    "your key n": "your value n"
                }
            }
        ]
}

示例日志(服务器时间戳 | 日志):

1540934156385|{ 
    "ap": "gmall", 
    "cm": { 
        "uid": "1234", 
        "vc": "2", 
        "vn": "1.0", 
        "la": "EN", 
        "sr": "", 
        "os": "7.1.1", 
        "ar": "CN", 
        "md": "BBB100-1", 
        "ba": "blackberry", 
        "sv": "V2.2.1", 
        "g": "abc@gmail.com", 
        "hw": "1620x1080", 
        "t": "1506047606608", 
        "nw": "WIFI", 
        "ln": 0
    }, 
        "et": [ 
            { 
                "ett": "1506047605364", 
                "en": "request", 
                "kv": { 
                    "url": "www.baidu.com", 
                    "click": "1"
                }
            }
        ]
    }
}

标签:

未经允许不得转载:作者:1227-李同学, 转载或复制请以 超链接形式 并注明出处 拜师资源博客
原文地址:《数仓设计》 发布于2020-11-23

分享到:
赞(0) 打赏

评论 抢沙发

评论前必须登录!

  注册



长按图片转发给朋友

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏

Vieu3.3主题
专业打造轻量级个人企业风格博客主题!专注于前端开发,全站响应式布局自适应模板。

登录

忘记密码 ?

您也可以使用第三方帐号快捷登录

Q Q 登 录
微 博 登 录