本章将介绍实战项目背景、数据流,并让大家对知晓在实际项目中应如何进行技术的选型以及项目架构的迭代过程。
共 9 节 (43分钟) 收起列表
工欲利其事必先利其器,本章重点介绍项目实战中要使用的大数据框架的部署,基础不是很牢固的同学要认真看哦。
共 8 节 (55分钟) 收起列表
本章节讲解项目中要使用的数据是如何产生及落地的。我们将采用Spring Boot开发日志服务,将访问日志通过日志服务落地到日志服务器磁盘。
共 14 节 (95分钟) 收起列表
本章节讲解如何采用Flume来完成日志数据的收集工作。讲解Flume在生产上不同的场景的经典部署方案、Flume Agent的不同选型及配置、在生产环境Flume高可用的使用以及如何基于Flume进行二次开发,并使用Flume收集上一个章节中产生的日志数据。...
共 23 节 (160分钟) 收起列表
Kafka是大数据项目选型中使用的最多的消息队列框架,本章节要掌握Kakfa的部署、使用命令行和API的方式进行Kafka的相关操作,分析Kafka的数据存储是什么样,并重点分析一个高频面试题ack的使用。最终完成,使用Kafka对接上一个章节Flume数据到的数据。...
共 13 节 (111分钟) 收起列表
本章节会先带领大家知晓SparkStreaming能做什么,快速构建第一个Spark Streaming的应用程序并在本地和打包在服务器上运行,然后重点讲解基于开发Spark Streaming应用程序的核心概念,并详解如何对接socket和HDFS文件系统上的数据进行处理。如何使用Spark Streaming进行状态相关的处理以及整合Spark SQL的使用。...
共 21 节 (177分钟) 收起列表
本章节将讲解使用Spark Streaming进行项目实战。重点分析Spark Streaming如何对接Kafka的数据进行消费以及偏移量的自定义维护管理,使用Spark Streaming进行数据清洗以及项目功能的实现。并且,在完成功能的基础上如何进行其他功能的扩展、常用的调优点以及大数据集群规划。本章节是线上开发以及面试过程中必须掌握的!....
共 37 节 (298分钟) 收起列表
本章节将介绍Spark中新的流式模块Structured Streaming。通过本章学习,大家会知晓与Spark Streaming的优势体现在哪、掌握Structured Streaming的编程模型以及核心概念、基于EventTime的实时处理方式、对接常用数据源以及Streaming DataFrame编程、对接常用的Sink、Watermark机制和处理延迟数据的解决方案。...
共 18 节 (137分钟) 收起列表
本掌中将使用Structured Streaming框架来实现Spark Streaming项目中的清洗和统计功能,做到举一反三的功效,使得大家会使用不同的框架来进行相关业务的开发和处理。
共 10 节 (60分钟) 收起列表
本章节将对使用Spark Streaming以及Structured Streaming统计分析的结果进行可视化展示,采用前后端分离,请求后台查询服务接口并通过Echarts进行展示【前端部分采用React封装Echarts,源码随课赠送】。
共 14 节 (116分钟) 收起列表
本章节在对课程重难点内容进行总结的同时,重点分享面试过程中HR常考点、准备大数据简历注意要素、以及实时处理在大厂中的应用。
共 8 节 (65分钟) 收起列表
欢迎光临 优百课栈 (https://www.ubkz.com/) | Powered by Discuz! X3.4 |