客服微信
充值学币
特惠VIP
快速发帖
在线时间:8:00-16:00
亲爱的伙伴
欢迎随时撩我哟
扫二维码
私聊课小二
查看详情
本章中将向大家介绍课程能学到什么、解决什么实际问题、项目成果展示,课程整体安排以及如何学习更高效。
本章主要针对课程中应用的开发环境以及技术栈进行相关介绍。本课中会使用,虚拟化技术: virtualbox + vagrant,容器化技术:docker + docker-compose。技术栈涉及spark,Hadoop,hive等。
本章主要讲解开发环境的搭建,虚拟机与docker的安装。针对没有docker基础的同学,我们也会涵盖部分基础知识,从而实现轻松上手。针对容器化的开发环境,我们会详细演示,如何去解决访问和数据持久化。本次环境搭建会配合详细操作文档,方便同学们本地复现。...
相较于现有业务的局限性,这章中我们会来共同来探讨标签系统的设计理念。通过UI初步讲解标签的数据含义,结合mysql数据库表结构,去理解业务和标签的实现算法,更为详细的标签算法及ETL清洗逻辑在后续章节会做详细讲解。...
针对数据同步技术,本章中会介绍一些常用的数据同步中间件,以及实际项目中数据库同步至大数据集群的架构迭代(画图)。随后会演示利用sqoop导入数据到hive中。并学习如何对hive进行实际操作。
本章中主要讲解大数据项目中数据与业务的关系,数据血缘,数据平台,数仓等相关概念。讲解如何利用spark进行数据操作。分别从spark java,spark scala以及spark sql 三种不同实现方式进行代码演示与对比。
本章中将根据产品文档,利用spark sql + spark scala 的方式实现标签ETL。会讲述ES mapping 的设计,演示如何利用spark操作ES,并最终对全流程数据做验证与复盘。
本章中将介绍如何应用springboot + vue 实现项目的前端UI。用户选择特定标签后,ES背后的查询逻辑。对于查询的结果,标签清洗结果,数据库原始结果做一个验证。并最终将UI项目通过docker容器的方式部署起来。
本章会进行课程回顾与总结,再次圈重点,敲黑板。并对后续的一个学习线路做规划。
使用道具 举报
本版积分规则 发表回复 回帖后跳转到最后一页
关注0
粉丝0
帖子5133
下载:14790
下载:12789
下载:10297
下载:8605
下载:7989
下载:7562
下载:7558
下载:7505
下载:7206
Qt音视频网络通讯流媒体开发实战TCP/UDP/P2
老男孩网络安全14期
零声-FFmpeg6.0/WebRTC/RTMP/RTSP/播放器/
Qt开发必备技术栈(Qt5C语言c++数据库OpenC
奈学-资深数据分析师保薪班|价值18000
黑马java黄埔一期系统课|2023年