黄 鹏

因行内信贷核心、网贷平台、征信、核心账务等系统数据分散、口径不一，已无法支撑线上贷款的实时风控、经营分析与监管报送需求。为此启动普惠信贷大数据平台建设。

• 参与前期的客户业务需求分析会，理解需求文档，明确数据来源与取数逻辑
• 参与数仓模型设计，完成数仓分层与表结构设计，编写 Mapping 数据映射与转换规则文档
• 使用数据同步平台（DSC）完成信贷核心、贷后管理、征信、核心账务等系统源数据接入，落地全量/增量数据同步任务至 HDM 贴源层
• 编写 Hive SQL 封装进 Shell 脚本，在调度开发平台（SDP）上配置调度与依赖，完成数据清洗，过滤脏数据，统一信贷字段编码与日期格式，落地 DWD 明细层
• 构建星型模型，将客户、产品、机构等维度表拼接，完成DIM公共维度层维度表
• 使用 HiveSQL 完成事实表与维度表拼接生成 DWS 汇聚层宽表，并封装 shell 脚本，完成普惠信贷业务轻度聚合
• 编写APP应用层mapping文档，加工普惠贷款、不良、首贷户等结果数据集，完成 APP应用层业务指标输出
• 使用 HUE 平台完成 HiveSQL 脚本自测，校验指标逻辑与数据结果，输出普惠信贷统计数据集，做好数据集卸数准备
• 通过 SVN 完成脚本、mapping、调研文档版本提交，配合测试开展全链路联调、上线等

厅局原有多套政务业务系统逐步下线，沉淀多年政务业务存量数据，数据分散，缺乏统一归档存储。基于 Hadoop 大数据体系开展政务存量业务数据迁移归档，完成数据汇聚、治理与分层建模。实现历史政务数据可查询、可统计，满足政务档案管理与政务数据共享要求。

• 参与政务业务需求分析、业务与数据调研，对旧数据库进行摸底梳理，完成全量数据资产盘点，为迁移方案制定提供数据依据
• 参与归档数仓模型设计，开展维度建模、事实表设计，落地星型模型与宽表建模；负责DWS 政务主题宽表 mapping 设计，定义办件、档案归档主题映射关系、转换逻辑与过滤条件
• 通过 EDIP 数据交换平台将旧业务库数据完整装载落地ODS贴源层，使用 ADP 自动化开发平台编写批量脚本，贴源层数据落地至 DWD 明细粒度层、DIM 公共维度层
• 利用 HiveSQL 的 UDF自定义函数完成脏数据清洗治理，处理空值、重复数据、日期格式错乱、特殊字符乱码等问题
• DIM公共维度以星型模型主维表与相关维表拼接，构建机构、办件类型、时间维度等，保障归档统计口径准确
• 使用HiveSQL完成事实表、维度表拼接生成DWS主题宽表，封装shell脚本完成业务轻度聚合
• 编写DM归档集市层mapping文档，定义 DWS 宽表到归档集市层映射规则，面向档案查询、数据共享场景完成归档指标数据集加工
• 使用HUE平台完成HiveSQL脚本自测，校验归档指标统计结果，输出可供政务共享调用的数据集，完成数据集卸数准备
• 使用SVN对脚本、mapping、调研文档做版本管理，配合测试完成迁移后全链路联调、数据一致性比对，完成政务历史数据归档交付

为支撑全行精细化经营管理和监管报送需求，建设统一的基于阿里云数据仓库平台。通过分层架构实现数据标准化、口径统一和服务共享，为管理层决策、客户营销、风险管控等业务场景提供数据支撑。

• 参与项目分析和业务需求研讨会，初步了解业务逻辑，梳理数据结构，明确需求指标与取数逻辑
• 参与数仓模型设计，确定数仓架构及分工
• 基于阿里云MaxCompute搭建标准四层数仓架构
• 把数据抽取到MaxCompute的ODS贴源层，保留源系统原貌数据
• 配置节点MaxCompute SQL对数据进行清洗、标准化及规范化处理，从而保障数据的准确性与一致性，建立DWD明细层
• 开发DIM公共维度层，对主维表与相关维表采用星型拼接，完成一系列维度表维度建模
• 根据DM应用层mapping以及DWS服务层mapping，开发事实表与维度表脚本并配置到节点MaxCompute SQL，建立DWS服务层
• 根据业务需求对DWS服务层进行一系列计算聚合输出到DM应用层
• 使用DataStudio进行数据开发，通过MaxCompute SQL完成复杂数据转换、维度关联、数据脱敏等处理，低代码构建ETL作业流层
• 任务调度与运维监控，依托DataWorks 调度中心，配置周期调度、失败自动重试、设置分层任务执行顺序、依赖关系
• 通过每日监控作业运行日志，发现异常问题，保障任务稳定运行

为保障全省税务系统日常会议、培训、办税服务的音视频通信需求，负责省-市-县三级税务机构音视频会议系统的日常运维和保障工作。在运维过程中引入 Hadoop/Hive 等大数据基础工具，对音视频系统运行日志、设备状态数据和会议使用数据进行采集、存储和分析，实现系统运行状况的量化监控和故障预警，通过数据化运维手段提升系统可用性，降低人工巡检成本。

• 负责全省税务系统音视频会议平台的日常运维，包括会议保障、设备巡检、故障排查和版本升级，保障省-市-县三级视频会议链路稳定运行
• 参与搭建基于 HDFS 的音视频日志存储平台，使用 Shell 脚本定时采集 MCU 设备日志、终端在线状态、会议记录等运维数据，归档至 Hadoop 集群进行集中存储和管理
• 使用 Hive 构建日志分析表，对会议时长、并发路数、设备在线率、丢包率、音视频质量评分等指标进行统计分析，定期产出运维报表
• 对音视频设备告警日志进行清洗和分类，结合监控实现告警关联分析，将高频故障设备纳入重点巡检清单
• 利用 Hive SQL 分析历史会议数据，统计各分局会议使用频率、高峰时段分布和资源利用率，为会议资源扩容和调度优化提供数据支撑
• 编写音视频系统运维操作手册和应急处置预案，整理常见故障知识库，结合大数据分析结果优化设备巡检策略和备件储备方案