关于

学习计划及进度

学习记录

序号 学习内容 开始时间 结束时间 阶段评价 详细说明
1 Hadoop 20190726

待安排

==================熟悉组件========================
基础组件
Hadoop
Spark
HBase
Yarn
Storm
Flink
Kafka
Mysql
Elasticsearch
MongoDB
HBase
Redis
neo4j

==================熟悉语言========================

scala

==================工作经验========================
自然语言处理经验
数据仓库建设经验者(数据清洗、ETL、质量监控和评估等实施经验)
数据分析挖掘相关工作经验;有金融或互联网金融相关行业经验
具有深厚的数学、统计学和计算机相关知识,精通SQL等数据查询语言及SASR等统计分析软件,熟悉数据仓库,具有海量数据挖掘、分析相关项目实施经验,参加过完整的数据挖掘项目并有成功案例
具备良好的数据呈现能力,包括PPT展示和讲解能力
熟悉常用数据处理和数据分析方法,具备良好的统计学基础,具备大数据处理相关经验,熟悉常用分类和回归算法

有社交平台爬取经验。

==================工作技能========================
具备建模能力,熟练使用UML等,准确表达需求和设计
对数据的可视化展现有深入认识和理解
掌握各类数据库的使用场景,包括常见的关系型数据库、NoSQL数据库、MPP数据库等
熟悉大数据离线计算和流式计算平台,理解大数据平台的分布式架构特点
熟悉相关领域的业界产品和方案
有互联网后端项目开发经验,熟悉高并发网络编程,熟悉分布式理论基础
熟悉常见数据挖掘与机器学习算法,如分类、聚类、逻辑回归、SVM、神经元网络、决策树、贝叶斯等
熟练使用Python、MATLAB、R中的一种软件进行算法开发与仿真
悉数据挖掘方法论,熟悉数据挖掘项目实施过程,熟练掌握数据分析挖掘软件操作和可视化工具。
熟悉Linux操作系统底层机制,精通分布式系统底层实现机制,如:消息通信、数据编解码技术,熟悉相关的常用开源框架及实现机制
了解深度学习技术
Hadoop、HBase、Hive、Spark、Kafka、Storm等集群的维护、优化工作
熟悉Hadoop、HBase、Kafka、Hive、Spark等组件的工作原理
熟练使用java、Scala、python等对数据进行分析与处理,熟悉常规的数据挖掘与机器学习算法
精通Hadoop、Spark、Kafka、Flume、HBase、HIVE等组件开发
负责大数据基础平台的规划、部署、管理和优化,保障平台稳定可靠高效运行
使用过Spark研发,对于熟练掌握MR、RDD等关键技术
熟练掌握关系型数据库如MySql或Oralce等,有分布式缓存、分布式存储技术经验者优先
熟悉Spring等开源技术框架

具有扎实的大数据和数据仓库的理论功底,负责过大数据平台或数据仓库设计、大数据风控系统; 基于Hadoop的大数据体系有深入认识,具备相关产品(Hadoop、Hive、HBase、Spark、Storm、 Flume、Kafka、ES等)项目应用研发经验,有Clouder CDH Hadoop集群搭建和管理经验
熟悉传统数据仓库数据建模,ETL架构和开发流程,使用过Kettle、sqoop等相关工具。
==================组织技能========================

交流和理解客户业务需求,将需求转化成对数据加工生产的要求
负责包括数据标准在内的项目相关的技术文档的输出
针对数据项目的实施和运维要求,对人员进行组织架构定义,职责分工以保障项目交付
作为技术专家,向客户进行项目方案汇报沟通