基本信息:
姓 名:XXX
性 别:X
目前所在地:XXXXXX
电话:XXXXXXXX
邮箱:XXXXXXXX@163.com
英语:六级
学历:2008.09 – 2010.12 中国科学技术大学 软件工程 硕士
专业技能:
1. 熟悉 Java、Scala、Python 编程语言;
2. 熟悉大数据开发框架,熟悉运用 Hive、Spark、Flink、Hbase、Impala、Kylin、Flume、ClickHouse
等大数据主流工具和技术;
3. 熟悉Kafka消息中间件,进行日志采集,并和Spark/Flink整合使用,进行数据的实时处理;
4. 熟悉Redis内存数据库,能搭建Redis高可用集群及其编程;
5. 熟悉 Oozie、Azkaba、Kettle 任务调度组件的使用,能独立编写 Oozie、Azkaban 和 Kettle 任务调度脚本。
大数据开发工作经验:
2020/03 -- 2020/12 深圳同为数码科技股份有限公司 大数据软件工程师
2017/07 -- 2019/12 平安科技(深圳)有限公司 资深软件工程师
2016/07 -- 2017/06 文思海辉技术有限公司(微众银行外包) 高级软件工程师
软件开发工作经验:
2015/07 -- 2016/06 文思海辉技术有限公司(微众银行外包) 高级软件工程师
2014/02 -- 2015/06 佳都新太科技股份有限公司 Linux c++软件工程师
2011/02 -- 2014/02 普拉普斯微电子技术有限公司 中级软件工程师
项目经验:
项目一:同锐智能制造自动化测试大数据监控平台
项目架构:MySQL+Oracle+OGG+Canal+Kafka+StructedStreaming+Kudu+ClickHouse+Impala+Azkaban
项目描述
该项目与公司 MES 系统结合,开发基于大数据的监控平台。项目使用 Spark 技术,结合 Kafka、Kudu、Impala、
ClickHouse 等大数据组件,完成业务数据的实时 ETL 开发、Kudu 离线数仓开发、Impala 整合 Kudu 完成即席查询
模块开发以及 ClickHouse 实时 OLAP 分析。通过对生产物料、产品产量、良率、产品缺陷类型比率和设备稼动等指
标的监控,有利于节约物料成本、在生产过程中及时调整生产,提高品良,指导设备维护。
工作内容:
1. 使用 Cannal、OGG 实时采集 Mysql、Oracle 事实表和维度表增量数据到 Kafka 中;2. 通过 StructuredStreaming 实时消费 Kafka 中主题数据,解析 Kafka 中数据格式与 kudu 中的表结构映射,将数
据写入 kudu 数据库;
3. Kudu 离线数仓开发。Kudu 离线数仓分层为 ODS、DWD、DWS 层,使用 Sparksql 对 ODS 层数据进行拉宽到
DWD 层, 对 DWD 层数据进行聚合计算,完成 生产物料、产品量、良率缺陷类型占比和设备稼动等指标开发;
4. 使用 Azkaban 进行 Kudu 离线数仓定时任务调度;
5. Impala 整合 Kudu,在 Hue 可视化页面使用 Impala Sql 进行即席查询进行即席查询模块开发;
6. 使用 SparkSql 在 ClickHouse 中进行产品量、良率缺陷类型占比和设备稼动等指标的实时 OLAP 分析。
项目二:平安好学智慧教育平台用户画像系统
项目架构:MySQL+SpringBoot+HBase+ SparkSQL+SparkMllib +Oozie
项目描述
该项目是用于全方位的了解平台用户的特征属性和行为属性,为实现提高用户的学习体验和实现精准营销推广提供数
据支持。项目使用 BulkLoad 批量导入 Hive 数据仓库中的业务数据到 HBase 中,通过 SpringBoot 搭建的 WebUI
界面进行统一的标签管理,通过 Oozie 进行任务的调度。通过 SparkSQL 从 4 级标签中获取 Intype 业务数据源数
据,加载 HBase 中的业务数据,使用 SparkSQL 结合从 5 级标签数据进行规则类标签和统计类标签的分析,使用
SparkSQL 结合 SparkMllib 完成对挖掘类标签的分析计算,将分析得到的标签数据保存在 HBase 中。根据业务需求
完成了用户性别标签、用户年龄段标签等规则类标签的统计分析和 PSM 用户价格敏感度标签、RFM 用户活跃度标签
等挖掘类标签的分析计算,全面的分析了用户的特征属性和消费行为,为实现精准营销提供数据支持。
工作内容:
1. 根据业务需求,协助前端完成 SpringBoot 创建 1-5 级标签;
自定义数据源,将 Hive 离线数仓中的数据以 Hfile 的形式转移到 HBase 中,如日志-订单数据;
2. 负责规则匹配类和统计类标签开发,读取 MySQL 数据源的 4 级标签的业务数据源数据,加载 HBase 中的业务数
据,结合 5 级标签中的数据使用 SparkSQL 计算引擎完成标签的开发,将标签的结果数据保存到 HBase 中;
3. 根据业务需求,负责对挖掘类标签的数据进行特征工程处理,使用机器学习的算法如 DecisionTree 算法、
RandomForest 算法等构建机器学习的模型,如 PSM 模型和 RFE 模型等;
4. 负责使用 SparkMllib 进行机器学习模型的训练、预测、检验等,完成挖掘类标签如用户价格敏感度、用户活跃度
等标签的计算,将标签的结果保存到 HBase 中;
5. 负责使用交叉验证和网格搜索完成超参数的训练,优化机器学习的模型;
6. 完成编写任务调度,使用 Oozie 对工作流进行调度监控。
项目三:平安银行金融产品实时统计分析系统
技术架构:FlinkStreaming+Zookeeper+Flume+Kafka+Canal+Redis+Mysql+Hbase+Driud+SuperSet
项目描述:
该项目通过对数据库交易数据实时同步,监控网站实时交易情况,以提高网站交易情况监控的时效性,降低网站运行
的风险,以及产品的风险控制。通过对网站和 APP 的数据进行实时的获取,来可以帮助管理员、运营人员、推广人员
等实时获取网站信息,从流量来源、网站 APP 内容、网站 APP 访客特性等多方面提供网站 APP 分析的数据依据。项
目通过 Flink 大数据技术,实现在不同推广活动中数据的实时观察分析,从而帮助提高产品流量,提升用户体验,让
访客更多的沉淀下来变成会员或客户,通过更少的投入获取最大化的收入。项目通过对金融数据的挖掘、分析,创造数据增值价值,提供针对银行的精准营销、统一发布广告、业务体验优化、客户综合管理、风险控制等多种金融服
务。
工作内容:
1. 使用 Canal 将 MySQL 中的维度数据全量导入 Redis 中,以及通过 Canal 进行和 Kafka、Redis 的实时同步;
2. 从 Kafka 中拉取数据用 Flink 进行 ETL 处理,完成运营和产品等指标,数据落地 Kafka 和 HBase;
3. 使用 Flink CEP 整合风控系统;
4. Driud 进行指标分析,包括充值、提现、身份认证等业务指标。
项目四:微众银行批处理任务调度服务端软件开发与实现
开发环境:Linux + Git + Gdb
项目描述:
银行批处理任务调度软件支持银行柜面和各外围系统完成业务处理、记载会计账务、产生业务报表,提供决策数据的
计算机应用系统。作为银行存款、贷款账务处理的重要组成部分,关于存款、贷款账户的业务操作是在任务调度系统
中完成的。其主要业务包括:客户信息管理、存款业务、贷款业务、总账以及对这些存、贷款账户的日间操作等。由
于批处理任务调度是一个后台系统,因此对它的访问都是通过前端的各类服务渠道进行的。无论客户的交易是来自柜
员系统、ATM/POS 还是其它方式,如电话银行、网上银行、客户服务中心等,该交易都会被传递到后台的核心业务
系统,进行有关客户账和总账的更新。
任务调度系统软件是多进程 Linux 服务程序,服务端包括 tss_ctl(接受控制指令) 、tss_sch(接受批量任务)、
tss_rmb(接收 RMB 指令)、tss_sync(接收同步指令)等几部分,各模块间通过网络进行通信。
工作内容:
1. 负责完善各软件逻辑业务实现;
2. 参与软件研发过程,控制软件产品质量;
3. 参与软件研发过程,协助测试和运维人员完成软件测试和部署维护。
项目五:IP camera 服务端软件开发与实现
开发环境:Linux + Svn + NetBeans + Gdb/myddd + Valgrind
项目描述:
该项目是通过 BOSS 端下发注册绑定信息到服务端,服务端将信息处理后发送到其他服务程序,主要是 IP camera 服
务端软件与终端(IOS,Andorid 、PC)、其他服务端(BOSS 业务运营支撑系统、云存储系统、华为 IMS 网元的统
一业务发放系统)业务交互实现。
工作内容:
1. 负责设计大并发和高负载的网络服务端和业务逻辑;
2. 服务器业务逻辑的开发,主要包括注册服务,登录,相机基本参数添加修改、相机绑定、解绑、增删改以及其他协
议开发;
3. 性能和内存检测对程序进行 performance 和 memory 优化;
4. 按照研发流程要求,控制软件产品质量,按时完成软件详细设计、代码实现、集成测试。
项目六:Nanospice 千兆级集成电路分析软件开发与实现开发环境:Linux + Svn/Git + NetBeans + Gdb/myddd +Valgrind
项目描述:
Nanospice 千兆级电路仿真软件是一款大规模集成电路后仿真数值分析软件,主要用于分析集成电路电流、功率、电
压、电容计算输出直流分析、交流分析,瞬态分析、噪声分析、傅里叶分析、失真分析、灵敏度分析、直流扫描分析
等功能。
工作内容:
1. EDA 数值分析软件核心部分数据建立与优化,及其与其他部分的交互等;
2. 维护公司现有核心产品组件,Bug 修改测试等;
3. 参与软件研发过程,控制软件产品质量;
4. 性能和内存检测对程序进行 performance 和 memory 优化;
5. 开发与测试进度管理。
项目七:基于 Linux 的智能网络摄像机
项目描述:
基于 Hi3516CV500 处理器体系结构、视频编解码流程的视频摄像机系统。主要内容包括应用应用程序编写、
Bootloader 移植,Linux 操作系统内核裁剪,内核移植,根文件系统制作。
工作内容:
根据需求,主要完成如下五部分功能的开发工作
1. 视频处理部分:读取参数,数据通过管道传输,经过算法处理后通过网络发送;
2. 配置管理部分:IPC 产品的设备启动、配置、应用程序、管理、升级软件等逻辑功能开发;
3. 业务管理部分:与网络平台之间协议的解析与执行,模块功能实现;
4. 注册管理部分:网络中客户端的注册和确认登陆等功能;
5. 与 web 端交互:音频、视频参数、智能算法,报警输入输出、邮件、智能事件配置、云台、时间日期、网络、录
像、远程在线升级等功能。
自我评价:
1. 有较强的学习能力,善于接受新技术
2. 有良好的适应能力,能承受一定压力
3. 具有自信心,工作积极主动、认真负责
4. 具有良好的分析解决问题能力及团队合作精神
Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐