苏宁大数据中台技术架构,苏宁大数据中台技术架构.pptx

苏宁大数据中台技术架构技术创新变革未来0102030405总览数据建模与指标化维度管理指标查询服务与OLAP引擎总结数据中台出现之前销售域业务系统采集DPA汇总层SOR基础层SSA缓冲层诸葛PC诸葛APP数据仓库层数据集市DM物流域业务系统采集DPA汇总层SOR基础层SSA缓冲层天眼数据仓库层数据集市DM数据平台vs数据中台数据平台有完整的数据模型设计，但偏重设计和技术，在执行过程中，很难保证数据的全，数据应用一般不跨过数据中心初期数据发展快，效率高，快速体现业务价值，但是随着数仓的建设，数据量急速鳌加，整体成本居高不下，导致数据混乱、灾难。数据中台数据中台的基本理念是：将所有数据汇聚到数据中台，每个数据应用都以数据中台为唯一数据来源。苏宁数据中台的目标是为苏宁的数据战略提供有力的支撑，从企业全局进行统一规划，统一建设，强调数据的“全”，从设计、组织、建设、流程角度保障了模式的落地。数据中台的建设减低了数据使用门槛数据中台系统架构计算存储引擎基础服务用户数据服务数仓管理运维监控多租户隔离集群部署数据应用引擎可视化引擎Z数据服务引擎数据分析引擎数据应用画像引擎BI报表可视化大屏精准营销个性化推荐More数据开发套件数据集成实时任务开发任务运维离M任务开发数据仓库主题域维度库用户主题域销售题域商品主题域数据治理套件数据质量数据地图数据模型模型－指标－报表体系系统架构数据仓库指标定义指标层天工数据层：可I-引擎统O维度库模型层事实表＋维表数据API解析引擎计划引擎执行引擎OLAPOLAPAL引擎OLAP数据+速引擎OLAP任务调度公共维度表ADSDWSDWD数据仓库指标定义指标层数据层：可视+引擎统I维度库模型层事实表＋维表数据API解析引擎计划引擎执A引擎OLAPOLAP查询引擎OLAP数据加速引擎OLAP任务调度公共维度表ADSDWSDWD0102030405总览数据建模与指标化维度管理指标查询服务与OLAP引擎总结为什么是星型模型反范式3NFOLAPOLTP星型雪花允许数据适当冗余，缩短操作数据的时间，用空间换取时间避免数据冗余，减少数据库的空间建模过程数据建模模型基本属性确认确认/储介质选择事实表选择维表和维度选择字段类型／属性设置cube组合建模分析业务过程分析事务型事实宽表周期性快照事实宽表累计快照事实宽表确认粒度／数据来凉模型基本属性类型星型宽表定制类时效类型实时离线离线＋实时时序类型时序非时序构建类别+细汇总明细＋汇总调度类型任务流调度周期模型存储星型宽表定制类ESPGDRUID时序非时序汇总明细汇总定制化的建模方案会员系统数仓会员字典表访间流量表会员购买表OLAp会员购买信息（根据会员去重）存储过程（生成会员序列ID）存储过程（bitmap全量和增量数据）查询维度月留存bitmap查询维度半年留存bitmap查询维度年留存bitmap查询维度新买家bitmap查询维度纯新买家bitmap查询维度老买家bitmap查询维度新老买家bitmap指标定义指标基础信息多种时间粒度多种时间周期多单位换算度量计算函数：max/min/count/countdistinct/sum/avg/abs累计函数lastday衍生计算表达式支持逻辑流支持运算符时间计算函数异常数据个性化筛选条件统一维度支持自定/维度支持自定/参数支持指标属性可比占比同环比均值可视化测试小天工多维度数据验证性能验证模型、指标多版本体系原则状态分成上线／历史／开发中上线单一/标来源于上线的模型上线衍生/标中的单一/标必定是上线版本历史版本模型有冻结期，冻结期结束此版本模型删除，关联历史/标下线模型、指标多版本体系模型新版本上线模型版本回滚指标新版本上线指标版本回滚菲容性校验PV3V.l.0流量3Vl.2流量3Vl.3会员-Vl.0会员-Vl.l会员-V.l.3会员-V..l.4会员-Vl.2衍生指标_l-Vl.4衍生指标_2-Vl.2衍生指标_2-Vl.3会员-Vl.2模型单一指标uV-Vl.2uV-Vl.3衍生指标衍生指标_l-Vl.3Druidda1a0.2rcelda1a0.2rce2PG1ablel1able21able3上线历史开发中数据仓库指标定义指标层数据层：可视+引擎统I维度库模型层事实表＋维表数据API解析引擎计划引擎执A引擎OLAPOLAP查询引擎OLAP数据加速引擎OLAP任务调度公共维度表ADSDWSDWD0102030405总览数据建模与指标化维度管理指标查询服务与OLAP引擎总结统一维度建设背景标准维度业务口径不统一，缺乏T效的管理流程来对/进行管理和约束，维度建设存在重复和歧义成本对于维度服务的开发，各个产品中心需要各自实现，造成开发成本重复投入。例如公司的维度。工具ETL开发人员／产品人员，存在大量手工配置表需要规则维护，缺乏快速开发工具。平台业务人员想查询维度信L，缺乏可靠的公共E台去快速方便的查询。统一维度管理目标根据业务需求，提供快速定义维度的功能，保证维度的唯一性完善的维度管理流程，对维度新增，变更，下线全生命周期管理建立维度全链路统一的数据监控体系，提升平台数据安全提供高效、稳定的维度查询服务，满足高井发的查询维度开发管理维度信息管理维度监控管理维度数据服务统一维度系统架构维度管理时效分类•实时•离线维护分类•主数据维度•手工维度层次类型•层级维度•非层级维度维度类型•普通维度•父子维度•角色扮演维度•杂项维度•日历时间维度维度任务数仓离线HIVEUDMSMYSQLHBASEMYSQLELASTICSEARCHREDIS本地缓存数仓实时TOPICUDMSHBASE天工百川统一权限➢重点服务支持•支撑实施Join•编码与名称转换离线计算KAFKARPC服务推R三层缓存架构OLAPRPC服务数据仓库指标定义指标层数据层：可视+引擎统I维度库模型层事实表＋维表数据API解析引擎计划引擎执A引擎OLAPOLAP查询引擎OLAP数据加速引擎OLAP任务调度公共维度表ADSDWSDWD0102030405总览数据建模与指标化维度管理指标查询服务与OLAP引擎总结离线模型加速方案实时模型加速方案kafkaSparkStreamHDFSHASE统一维度库ZookeeperDRUIDESPGRPC指标数据查询服务•基本规则校验后，将指标奎询进行解析，获得解析器结果•按照模型，时间粒度，过滤维度等创建c剖计划;•经过sort优化器，join优化器，cost优化器等优化器，优化执行计划•生成物理计划•多线程奎询引擎•自动化计算器，包括：join计算器（衍生指标计算器，同环比计算器），占比计算器解析引擎校验器解析计划引擎逻辑计划优化器物理计划执1引擎查询计算HTTPRPCSPARKSQLOLAP指标数据查询服务一执行J划NodelNode2Node3Node4Nodel_lNodel_24比J算Node3_lNode3_2C比J算衍生J算4比J算衍生J算2比J算3井J算3井J算均值J算ROOT精度J算…排序J算计划节点计算属性节点属性逻辑计划优化器查询计算joinjoinjoin排序优1器Cube优1器Join优1器Cost优1器路由优1器OLAP-数据服务OLAP-SPARKParquetOptimizerDruidOptimizerESOptimizerPGOptimizerSpar-SQLHDFSSpar--DruidDruidES-HadoopESSpar--JDBCPG百川SPARKSQL0102030405总览数据建模与指标化维度管理指标查询服务与OLAP引擎总结总结•精确去重•Cube自动优化•DWS、ADS层优化功能•加密•解密安全性能•高基数查询•深入COST模型优化引导