优百课栈
标题: hm0024 - 大数据反爬项目【Lua+Spark+Redis+Hadoop框架搭建】 [打印本页]
作者: aixure 时间: 2021-1-24 08:42
标题: hm0024 - 大数据反爬项目【Lua+Spark+Redis+Hadoop框架搭建】
【课程介绍】
很多订票网站的官网在互联网提供查询、预订等服务，如：各种航空公司的官网、去哪网、携程等，有大量正常用户访问的同时，也存在大量爬虫。爬虫消耗了系统资源，但是却没有转化成销量，导致系统资源虚耗，严重时会造成系统波动，影响正常用户访问购票。 大量热门路线的好车次和航线的特价舱位吸引正常用户通过官网订票的同时，也存在大量恶意占座的非法代理（黄牛）。通过不断的订座但不支付，利用这些虚占的座位进行非法盈利，通过系统日志分析等，发现官网存在大量的非法占座会员及非会员手机号用户。 为了限制伪装技术越来越强的爬虫访问和恶意占座行为，需要开发大数据防爬工具。 项目采用Lua+Spark+Redis+Hadoop框架搭建,包含状态监控,反爬指标配置,运营指标监控展示等功能。课程亮点：
1、数据采集使用Lua,实现并发量的最大化,尽可能的降低高并发时的数据丢失.
2、消息队列采用Kafka,实现各模块的解耦,利用Kafka的高吞吐和可持久化的特性为平台提升稳定性.
3、利用SparkStreaming实现数据的实时计算,完成从数据预处理到爬虫黑名单的计算.
4、Spark的状态监控功能,实时掌握Spark的运行状态.
5、使用SparkSQL实现数据可视化相关指标的离线计算
【网盘下载地址SVIP专享通道(电脑版访问)】
(, 下载次数: 12)