【课程介绍】
一、课程目标 1、掌握画像标签开发技巧 2、掌握数据挖掘技巧 3、了解业内画像和DMP系统的架构和开发 4、大数据结合业务场景落地 二、系统开发要求
涉及的技术要点：spark 、elasticsearch、hadoop 、hive 、LR GBDT等机器学习算法 开发工具：idea、eclipse 开发环境：spark2.2、hadoop2.7、hive1.2、hbase、redis 开发语言：scala、java、python、shell、sql 三、课程目录 课程一览 1、用户画像概述 什么是用户画像，为什么要用户画像，画像的场景应用 业内，facebook,阿里巴巴（达摩盘），腾讯（广点通）分析 打造自己的内部达摩盘，基本功能跟达摩盘一致 2、画像指标整理 2-1.基础属性。人的基础属性标签，包括地域、年龄、性别等。 2-2.兴趣偏好。这部分是投放端已有的定向能力，后期可规划更细的基于宝贝、店铺或行业的搜索选择，特定兴趣的定向功 能。 2-3.行为轨迹。基于兴趣偏好更细的行为（包括浏览、点击、成交、收藏、复购等），及不同时间段的行为交叉（包括1天、7天、30天的行为）。 2-4.消费能力。基于平台的支付交易，购物行为、交易额计算高中低，及类目上的高消费偏好。 2-5.好友关系。基于平台的关系链数据，推荐偏好该宝贝、店铺、行业的好友用户。 2-6.自定义人群。支持上传自定义人群包，lookalike扩展包的大小。 3、 画像标签体系建设和开发 3-1）基本属性 地域、年龄、性别、学历、职业 3- 2）兴趣偏好 品牌、 店铺、一级类目、场景、行业 3-3）消费能力 能力等级开发 3-4）特征人群 划分一些特定的人群，高活跃，低活跃，有车一族，奶爸一家 3-5）LBS属性 长居住地 3-6）用户轨迹 交易、浏览，收藏等 四、画像系统架构 功能：画像多维度分析、画像指标下钻分析、投放效果追踪分析 技术：基于es 、spark、hadoop 建设画像计算，以及数据存储和计算 模块：用户人群包（交集并集）、追踪分析、人群画像、人群对比模块开发 五、画像系统应用案例 用户精准营销 用户商品推荐 六、大数据面试技巧 hadoop、hive、spark常见面试问题以及解答 【课程目录】
第1章 第一章
第1讲 01什么是画像结合阿里达摩盘讲解免费 00:20:34| 下载课件
第2讲 02画像功能介绍00:23:41
第3讲 03腾讯画像dmp介绍00:09:30
第4讲 04画像课程目录和目标00:06:21
第5讲 05画像基础指标性别预测方案-补录00:18:36
第6讲 06生产用户行为日志以及导入hive和数据处理(有点小延迟关问题不大)00:21:34
第7讲 07用户app安装应用数据处理以及特征组合00:10:39
第8讲 08用户交易数据mysql同步hive00:28:00
第9讲 09用户画像性别预测spark代码0100:32:13| 下载课件
第10讲 10用户画像性别预测-spark代码0200:20:29
第11讲 11用户分群活跃区分打标签kmeans聚类编写00:28:23
第12讲 12基于统计用户分群含时间衰减和hive窗口函数00:20:20| 下载课件
第13讲 13用户消费能力等级划分代码编写0100:15:29
第14讲 14用户消费能力等级划分代码编写0200:14:54
第15讲 15TF-IDF算法介绍00:11:29
第16讲 16手写TF-IDF,以及后续sparkAPI调用00:27:29
第17讲 17利用TF-IDF思想进行画像偏好计算00:20:35
第18讲 18实时模型信用评分架构介绍00:16:31| 下载课件
第19讲 19节视频补录-随机森林信息熵和信息增益算法介绍00:22:02
第20讲 20flume安装以及java代码RPC发送数据00:08:47
第21讲 21离线随机森林模型代码开发-随机森林算法介绍看后面19节补录00:14:25
第22讲 22实时模型预测和实时画像总结00:12:13
第23讲 23lookalike几种常见方法介绍00:20:31
第24讲 24局部敏感哈希(LSH)和相似度计算几种常见方法00:08:21
第25讲 25spark计算LSH采用杰卡德相似度00:12:33
第26讲 26lookalike大赛介绍以及LR来做预测00:20:43
第27讲 27DMP功能介绍、以及架构设计-补录00:11:22
第28讲 28技术选型、以及elasticsearch介绍-先看下面27讲00:25:58
第29讲 29elasticsearch安装和elasticsearch-head和elasticsearch-sql安装00:12:53
第30讲 30画像数据处理、画像指标合并成宽表00:35:42
第31讲 31画像的脚本调度编写00:07:34
第32讲 32画像数据写入es代码编写00:06:01
第33讲 32利用es做下钻查询以及多维度分析mp400:10:43
第34讲 33项目总结00:10:52
第35讲 34面试总结、怎样打造你的简历mp4
| 
