深入浅出hadoop实战开发(hdfs实战图片、mapreduce、hbase实战微博、hive应用)
  完毕
收藏课程
9999+

深入浅出hadoop实战开发(hdfs实战图片、mapreduce、hbase实战微博、hive应用)

本课程在兼顾hadoop课程知识体系完善的前提下,把实际开发中应用最多、最深、最实用的技术抽取出来,通过本课程,你将达到技术的新高点,进入云计算的美好世界。在技...

适合人群:高级
课时数量:30课时
用到技术:hadoop、mapreduce、hbase、hive等
涉及项目:图片服务器、微博、流量统计、话单查询系统

  • 课程顾问贴心解答

    为你推荐精品课程,无论就业还是升职加薪,毫无压力。

  • 名企定制紧随大流

    量身打造紧贴企业需求的实用性课程。

  • 系统教学把控效果

    集学、测、练为一体的学习系统为你科学的安排学习进度,提高效率。

  • 一线大师1对1指导

    课程研发团队内一线资深讲师一对一指导,手把手教学,直到学会。

  • 点播答疑完美结合

    每周2-3次直播解答,保证学员日常学习问题能得到解决。

  • 量身定制学习计划

    告别杂乱的学习方式,会根据你的情况定制学习计划。

hadoop是什么,为什么要学习hadoop?

 

hadoop是一个分布式系统基础架构,由apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。hadoop实现了一个分布式文件系统(hadoop distributed file system),简称hdfs。hdfs有着高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上。而且它提供高传输率(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。hdfs放宽了(relax)posix的要求(requirements)这样可以流的形式访问(streaming access)文件系统中的数据。

 

hadoop 是一个能够对大量数据进行分布式处理的软件框架。但是 hadoop 是以一种可靠、高效、可伸缩的方式进行处理的。hadoop 是可靠的,因为它假设计算元素和存储会失败,因此它维护多个工作数据副本,确保能够针对失败的节点重新分布处理。hadoop 是高效的,因为它以并行的方式工作,通过并行处理加快处理速度。hadoop 还是可伸缩的,能够处理 pb 级数据。此外,hadoop 依赖于社区服务器,因此它的成本比较低,任何人都可以使用。
   hadoop带有用java 语言编写的框架,因此运行在 linux 生产平台上是非常理想的。本课程的讲解是采用linux平台进行模拟讲解,完全基于真实场景进行模拟现实

 

 

 

亮点一:技术点全面,体系完善

  

本课程在兼顾hadoop课程知识体系完善的前提下,把实际开发中应用最多、最深、最实用的技术抽取出来,通过本课程,你将达到技术的新高点,进入云计算的美好世界。在技术方面你将彻底掌握基本的hadoop集群;hadoop hdfs原理;hadoop hdfs基本的命令;namenode的工作机制;hdfs基本配置管理;mapreduce原理; hbase的系统架构;hbase的表结构;hbase如何使用mapreduce;mapreduce高级编程;split的实现详解;hive入门;hive结合mapreduce;hadoop的集群安装等众多知识点。
 

亮点二:基础+实战=应用,兼顾学与练

 

课程每阶段都安排了实战应用项目,以此方便学生能更快的掌握知识点的应用,如在第一阶段,课程结合hdfs应用,讲解了图片服务器的设计、以及如何利用java api去对hdfs操作、在第二阶段;课程结合hbase实现微博项目的各种功能,使学员可以活学活用。在第三阶段:hbase和mapreduce结合时下了实现话单查询与统计系统,在第四阶段,hive实战部分,通过实战数据统计系统,使学员在最短的时间内掌握hive的高级应用。

 

亮点三:讲师丰富的电信集团云平台运作经验

 

讲师robby拥有丰富的电信集团工作经验,目前负责云平台的各方面工作,并拥有多年的企业内部培训经验。讲课内容完全贴近企业需求,绝不纸上谈兵。

 

更多技术亮点参考课程大纲:(本大纲以章节形式命名要为防止某些章节1章节内容超过1课时)

 

第1章节:
> hadoop背景
> hdfs设计目标
> hdfs不适合的场景
> hdfs架构详尽分析
> mapreduce的基本原理

 

第2章节
> hadoop的版本介绍
> 安装单机版hadoop
> 安装hadoop集群

 

第3章节 
> hdfs命令行基本操作
> namenode的工作机制
> hdfs基本配置管理

 

 第4章节
> hdfs应用实战:图片服务器(1) - 系统设计
> 应用的环境搭建 php + bootstrap + java
> 使用hadoop java api实现向hdfs写入文件

 

第5章节 
> hdfs应用实战:图片服务器(2)
> 使用hadoop java api实现读取hdfs中的文件
> 使用hadoop java api实现获取hdfs目录列表
> 使用hadoop java api实现删除hdfs中的文件


第6章节
> mapreduce的基本原理
> mapreduce的运行过程
> 搭建mapreduce的java开发环境
> 使用mapreduce的java接口实现wordcount

 

第7章节
> wordcount运算过程分析
> mapreduce的combiner
> 使用mapreduce实现数据去重
> 使用mapreduce实现数据排序
> 使用mapreduce实现数据平均成绩计算

 

第8章节
> hbase详细介绍
> hbase的系统架构
> hbase的表结构,rowkey,列族和时间戳
> hbase中的master,region以及region server


第9章节
> 使用hbase实现微博应用(1)
> 用户注册,登陆和注销的设计
> 搭建环境 struts2 + jsp + bootstrap + jquery + hbase java api
> hbase和用户相关的表结构设计
> 用户注册的实现

 

第10章节 
> 使用hbase实现微博应用(2)
> 使用session实现用户登录和注销
> “关注"功能的设计 
> “关注"功能的表结构设计
> “关注"功能的实现


第11章节
> 使用hbase实现微博应用(3)
> “发微博"功能的设计
> “发微博"功能的表结构设计
> “发微博"功能的实现 
> 展现整个应用的运行

 

第12章节 
> hbase与mapreduce介绍
> hbase如何使用mapreduce

 

第13章节 

> hbase应用实战:话单查询与统计(1)
> 应用的整体设计
> 开发环境搭建
> 表结构设计

 

第14章节 
> hbase应用实战:话单查询与统计(2)
> 话单入库单设计与实现
> 话单查询的设计与实现

 

第15章节
> hbase应用实战:话单查询与统计(3)
> 统计功能设计 
> 统计功能实现

 

第16章节 
> 深入mapreduce(1)
> split的实现详解
> 自定义输入的实现
> 实例讲解

 

第17章节 
> 深入mapreduce(2)
> reduce的partition 
> 实例讲解

 

第18章节 
> hive入门
> 安装hive
> 使用hive向hdfs存入结构化数据
> hive的基本使用


第19章节 
> 使用mysql作为hive的元数据库
> hive结合mapreduce

 

第20章节
> hive应用实战:数据统计(1)
> 应用设计,表结构设计

 

第21章节 
> hive应用实战:数据统计(2)
> 数据录入与统计的实现