10年BI开发，5年大数据，5年技术管理，实施超过10个中大型项目，擅长Hadoop/Spark/Flink/Kylin/Hive/ETL/可视化开发调优，擅长业务落地和数据仓库建模，数据治理
高级数据仓库工程师· 广州xx网络技术有限公司
男 ︳本科 ︳10年工作经验 ︳广州
132 xxxx xxxx ︳test@qq.com
工作经历
广州荔支网络技术有限公司 |
||||||
高级数据仓库工程师 |
2019.03 - 今 |
|||||
负责流量域、增长域、用户域等方向建模和优化；用户画像建设和指标体系建设 |
||||||
广州艾克斯曼网络有限公司 |
||||||
大数据技术经理 |
2017.09-2019.01 |
|||||
带领7人团队，从0到1构建大数据平台；架构方案设计和技术预研；数据质量和指标体系建设 |
||||||
酷狗音乐 |
||||||
高级数据仓库工程师 |
2015.12-2017.08 |
|||||
负责酷狗音乐，繁星直播流量等业务域场景，构建数据仓库和指标体系建设；数据质量治理，提高数据和服务质量。 |
||||||
文思海辉 |
||||||
高级BI工程师 |
2015.01-2015.12 |
|||||
数据仓库建模、ETL设计及开发、UNIVERSE建模、BO报表开发 |
||||||
广州科腾信息有限公司 |
||||||
BI工程师 |
2013.04-2014.12 |
|||||
数据仓库建模，ETL设计开发、UNIVERSE建模，BO报表开发 |
||||||
广州医博信息技术有限公司 |
||||||
BI工程师 |
2011.02-2013.03 |
|||||
SSIS/SSAS开发 |
||||||
教育经历
重庆工商大学| 本科·计算机科学与技术| 2011年毕业
期望工作
Hadoop,Spark,Kafka,BI,离线/实时数据数据开发,ETL,技术管理 |大湾区
专业技能
深入理解数据仓库各种架构和模型，有丰富数据仓库建设经验。
擅长数据仓库调优和指标体系、数据治理体系、数据监控体系建设等。
熟练使用Hadoop，掌握Mapreduce原理，实现MR编码。
熟悉Hive的架构，擅长Hive开发和调优，实现UDF编码。
熟悉Flink/Spark技术原理，构建实时数据平台;擅长调优
熟悉OLAP技术，擅长Druid/Presto/Kylin开发和调优。
熟悉ETL调度机制，擅长优化调度。
项目经验
xx数据仓库
技术栈：Flink+Kafka+HBase +Hive
基于Flink SQL实现实时数据仓库以及基于Hive优化离线数据仓库,负责如下工作内容：
1. 负责流量域、增长域、会员域等方案输出、业务建模
2. 负责xxAPP用户画像体系建设
3. 负责xxAPP/xx播客宽表体系和指标体系建设
4. 基于Tableau/Davinci实现可视化方案
5. 负责xxAPP/xx播客数据治理（标准化/数据质量/主数据/生命周期四个方向）
X-Men实时数据平台
技术栈：Hadoop+Spark+Kafka+Davici+DBus+Wormhole+Druid + HBase
1. 基于Lambda架构，实现实时数据仓库。既保证数据的实时性又保证高可用和高容错性。
2. 关键技术点攻关，对技术框架中遇到的困难进行解决。
3. 数据储存层的优化，结合业务性质根据某些高频查询维度进行优化从而实现更快更有效的查询。
4. 从0-1完成广告域、流量域、交易域、会员域等模型设计和建设。建立运营指标体系
5. 数据质量和指标体系管理，保证高质量数据。
xx数据仓库
技术栈：Hadoop+Spark SQL+Hive+Shell
基于xx用户行为，构建流量域建模，建立流量域指标体系，建立数据质量监管体系，主要负责如下工作内容：
1. 负责繁星/粉丝、付费/VIP、手机KPI等业务ETL开发，实现多维分析。
2. 数据仓库模型优化，减少不必要的数据冗余，降低存储压力，提升任务性能。
3. 建立流量域指标体系和数据质量体系，提升数据质量。
4. 管理日增量数据超11T，开发、优化超过180T数据量。
xx用户画像
技术体系：Hadoop+Spark SQL+Hive+Shell
该项目主要基于HIVE数据仓库之上的统计分析，通过用户基础属性、播放、偏好等生成酷狗用户画像。
责任描述：
1. 项目前期分析，负责数据模型设计和项目规划
2. 完成数据收集和清洗工作，通过Hive/Spark SQL，实现自动构建画像
3. 下发数据到挖掘集群，为挖掘组后续工作提供数据支撑
xx保险统计分析项目
技术体系：Oracle+BO
本项目以客户关系，财务、承保、理赔数据为核心，建立完整的多维分析框架，为客户提供忠诚度、客户关系、渠道、承保及其策略、理赔、利润等多维度决策支持。
责任描述：
ETL设计及开发、UNIVERSE建模、BO报表
xx资产创先项目
技术体系：Oracle+BO
本项目为南方电网广州局资产管理项目，核心目标是建立统一财务数据标准，为公司各业务信息系统一体化做准备
责任描述：
DM建模、ETL设计及开发、UNIVERSE建模、BOE报表
xxODS数据仓库项目
技术体系：Oracle+BO+Control-M
建设新数据系统，用于支撑其战略转型需要，涉及核心、信贷、理财等八大业务系统。
责任描述：
ETL设计及开发、UNIVERSE建模、BOE报表开发
其他项目
智慧南京一期（BI项目）
中山大学眼科中心数据挖掘项目（BI项目）
红会医院三甲评审分析系统（BI项目）
广州市第一人民医院BI一期工程（BI项目）
番禺中心医院数据平台项目（BI项目）
海军四二一医院院感系统改造项目（BI项目）
广州华侨医院BI一、二期工程（BI项目）
广州华侨医院用药监控平台（BI项目）等