天津软件出口基地培训中心

大数据开发工程师课程简介

对于“大数据”（Big data），研究机构Gartner给出了这样的定义：“大数据”是需要 新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。麦肯锡全球研究所给出的定义是：一种规大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。

大数据时代的出现，未来30年将对计划经济和市场经济进行重新定义。在大数据时代，人类获得数据能力远远超过大家想象，我们对世界的<br>认识要提升到新 的高度。在国内，普通大数据开发工程师的基本岗位薪资起步即10000元/月，一般入职薪资13000元/月 左右，2年以上工作经验的大数据开发工程师薪资高达30000元/月以上。

课程特色：

1.完备且标准的大数据技术教程使你零基础掌握大数据核心技术。

2.大数据*前沿分布式计算技术Spark的精讲。

3.以企业实际项目为案例，掌握大数据数据仓库的全面知识。

课程简介：

第一阶段：大数据基础之Java入门

第1章：Oracle数据库

第二章：java8编程入门

第三章：java8面向对象

第四章：java8高级编程

第五章：深入java虚拟机

第六章：java业务分析设计实例

第二阶段：大数据基础之Linux知识

第*章：虚拟机知识

第二章：Linux shell基础命令

第三阶段：大数据入门（技术和思想上入门）

第1章：大数据介绍

第二章：Zookeeper

第三章：分布式存储HDFS

第四章：分布式计算MapReduce

第五章：分布式资源管理Yarn

第四阶段：大数据高效存储之Hbase

第1章：Hbase应用实战

第二章：Hbase运维相关

第五阶段：Scala语言学习

第1章：认识Scala

第二章：十二步体验Scala

第三章：Scala面向对象编程基础

第四章：Scala函数式编程基础

第五章：模式匹配

第六章：隐式系统

第七章：类型系统

第八章：集合框架

第六阶段：大数据高效计算之Spark

第1章：正确理解Spark

第二章：Spark Core 之 RDD API

第三章：Spark Core之正确提交Spark应用

第四章：Spark Core之Schedulers On Driver

第五章：Spark SQL的前世今生以及未来

第六章：玩转Spark SQL

第七章：Spark Streaming编程模型

第八章：Spark Streaming性能与稳定

第九章：Spark Streaming容错与语义

第十章：Flume Kafka Spark Streaming

第七阶段：大数据数据仓库构建

第1章：Spark SQL with Hive

第二章：Hive

第三章：Impala

第四章：Sqoop

第五章：CDH安装

第六章：Data Warehouse

最终阶段：职业规划，多种类型的大数据岗位，将根据学员所擅长的方向进行选择，并安排就业。

大数据数据分析方向

大数据清洗师

薪资：15K-20K

技能：1、掌握大数据平台中常用数据采集、抽取、整理方法； 

2、数据Python、Scala、SQL等语言，能够对数据按照需求进行转换；

大数据分析师

薪资：25K-45K

技能：1、掌握大数据平台数据分析方法，掌握Python、Scala、SQL等语言 

2、熟悉常用的机器学习算法，处理各种类型复杂数据，能从数据中提取有价值信息；

大数据科学家

薪资：50K 

技能：1、掌握统计、概率、线性代数等数学理论； 

2、掌握机器学习算法，熟悉业务和数据，针对数据建立模型； 

3、掌握Scala、Python等开发语言，熟悉在大数据平台实现数据挖掘； 

4、掌握大数据生态系统架构，熟悉数据的ETL过程，熟悉业务数据；

大数据应用开发方向

大数据开发工程师

薪资：20K-30K

技能：1、掌握Python、Java、Scala等开发语言，能够按照需求开发大数据平台组件应用

高级开发工程师

薪资：25K-45K

技能：1、具备良好的Hadoop生态系统的技术基础，熟悉业务和数据，根据不同业务特性设计架构，对整个公司的数据中心架构进行审视和优化改善； 

2、熟悉数据中心安全策略；

组件代码提交者

薪资：45K 

技能：1、成为Hadoop生态系统组件代码提交者（Commitor），对组件的发展方向具有影响；

大数据运维管理方向

大数据运维工程师

薪资：15K-20K

技能：1、掌握基本的Linux命令，会配置基础服务；搭建Hadoop集群，日常管理、监控和维护；

高级运维工程师

薪资：18K-25K

技能：1、掌握Shell、Python等开发语言，具备运行脚本语言自动化集群部署、管理和监控能力； 

2、高效的维护企业数据中心，有效分隔来自不同数据部门的需求；掌握Hadoop常用组件的安装、优化；

大数据架构师

薪资：20K-30K

技能：1、具备良好的Hadoop生态系统的技术基础，熟悉业务和数据，根据不同业务特性设计架构，对整个公司的数据中心架构进行审视和优化改善； 

2、熟悉数据中心安全策略；