让机器读懂用户——大数据中的用户画像

  • 时间:
  • 浏览:0
  • 来源:5分3D官方_极速5分排列5

作者:杨杰 网易邮件事业部大数据工程师

4. 业务决策:排名统计、地域分析、行业趋势、竞品分析等。

1. 精准营销:精准直邮、短信、App消息推送、个性化广告等。

用户画像暗含 的内容并非完正固定,根据行业和产品的不同所关注的形态学 有的是不同。对于大主次互联网公司,用户画像前会 暗含 人口属性和行为形态学 。人口属性主要指用户的年龄、性别、所在的省份和城市、教育程度、感情情况、生育情况、工作所在的行业和职业等。行为形态学 主要暗含 活跃度、忠诚度等指标。

用户画像是当前大数据领域的你是什么典型应用,也普遍应用在多款网易互联网产品中。本文基于网易的实践,深入浅出地解析了用户画像的原理和珍产流程。

点评:

用户画像的内容

微信公众号【黄小斜】大厂线程池池池员,互联网行业新知,终身学习践行者。关注后回复「Java」、「Python」、「C++」、「大数据」、「机器学习」、「算法」、「AI」、「Android」、「前端」、「iOS」、「考研」、「BAT」、「校招」、「笔试」、「面试」、「面经」、「计算机基础」、「LeetCode」 等关键字能要能要能了获取对应的免费学习资料。 

6. 数据合并,把用户通过各种数据源提取的形态学 进行合并,并给出一定的可信度。

2. 用户研究:指导产品优化,甚至做到产品功能的私人定制等。

除了以上较通用的形态学 ,不例如型的网站提取的用户画像各有侧重点。

提取用户画像,需要除理海量的日志,花费少量时间和人力。尽管是没办法 高成本的事情,大主次公司还是希望能给自己的用户做一份足够精准的用户画像。

下面以用户性别为例,具体介绍形态学 提取的过程:

数据管理系统

摘要: 用户画像(persona)的概念最早由交互设计之父Alan Cooper提出:“Personas are a concrete representation of target users.” 是指真实用户的虚拟代表,是建立在一系列属性数据之上的目标用户模型。随着互联网的发展,现在大伙说的用户画像又暗含 了新的内涵——通常用户画像是根据用户人口学形态学 、网络浏览内容、网络...

精确有效的用户画像,依赖于从少量的数据中提取正确的形态学 ,这需要一两个 强大的数据管理系统作为支撑。网易大数据产品体系暗含 晒 的一站式大数据开发与管理平台 – 网易猛犸,正是在网易实物实践中打磨形成的,要能为用户画像及后续的业务目标实现提供数据传输、计算和作业流调度等基础能力,有效降低大数据应用的技术门槛。

4. 另外还有一些形态学 能要能要能了利用,比如用户访问过的网站,突然 访问一些美妆或一个女人服饰类网站,是一个女人的意味着性就高;访问体育军事类网站,是男性的意味着性就高。还有用户上网的时间段,突然 半夜上网的用户男性的意味着性就高。把那此形态学 加入到LR分类器进行训练,要能提高一定的数据覆盖率。

1. 用户建模,指选用提取的用户形态学 维度,和需要使用到的数据源。

7. 数据分类分类整理,对于合并后的结果数据,分类分类整理到精准营销、个性化推荐、CRM等各个平台,提供数据支持。

社交网站的用户画像,也会提取用户的社交网络,从中能要能要能了发现关织密密的用户群和在社群中起到意见领袖作用的明星节点。

用户画像(persona)的概念最早由交互设计之父Alan Cooper提出:“Personas are a concrete representation of target users.” 是指真实用户的虚拟代表,是建立在一系列属性数据之上的目标用户模型。随着互联网的发展,现在大伙说的用户画像又暗含 了新的内涵——通常用户画像是根据用户人口学形态学 、网络浏览内容、网络社交活动和消费行为等信息而抽象出的一两个 标签化的用户模型。构建用户画像的核心工作,主假如利用存储在服务器上的海量日志和数据库里的少量数据进行分析和挖掘,给用户贴“标签”,而“标签”是能表示用户某一维度形态学 的标识。具体的标签形式能要能要能了参考下图某网站给其中一两个 用户打的标签。

2. 数据分类分类整理,通过数据分类分类整理工具,如Flume或自己写的脚本线程池池池,把需要使用的数据统一存插进Hadoop集群。

以电商网站的你是什么页面的个性化推荐为例,考虑到形态学 的可解释性、易扩展和模型的计算性能,可是线上推荐系统采用LR(逻辑回归)模型训练,这里也以LR模型举例。可是推荐场景前会 用到基于商品的协同过滤,而基于商品协同过滤的核心是一两个 商品相关性矩阵W,假设有n个商品,没办法 W假如一两个 n * n的矩阵,矩阵的元素wij代表商品Ii和Ij之间的相关系数。而根据用户访问和购买商品的行为形态学 ,能要能要能了把用户表示成一两个 n维的形态学 向量U=[ i1, i2, ..., in ]。于是U*W能要能要能了看成用户对每个商品的感兴趣程度V=[ v1, v2, ..., vn ],这里v1即是用户对商品I1的感兴趣程度,v1= i1*w11 + i2*w12 + in*w1n。意味着把相关系数w11, w12, ..., w1n 看成要求的变量,没办法 就能要能要能了用LR模型,代入训练集用户的行为向量U,进行求解。原来 一两个 初步的LR模型就训练出来了,效果和基于商品的协同过滤例如。

3. 根据用户姓名预测用户性别,这是一两个 二分类间题,能要能要能了提取用户的名字主次(百家姓与性别没办法 相关性),一些用朴素贝叶斯分类器训练一两个 分类器。过程中遇到了生僻字间题,比如“甄嬛”的“嬛”,意味着在名字中总出 的少,一些分类器无法进行正确分类。考虑到汉字有的是由偏旁部首组成,且偏旁部首也常常具有特殊含义(可是与性别具有相关性,比如草字头倾向一个女人,金字旁倾向男性),大伙利用五笔输入法分解单字,再把名字你是什么和五笔打法的字母一齐插进LR分类器进行训练。比如,“嬛”字的打法:『 女V+罒L+一G+衣E = VLGE 』,这里的女字旁就很有一个女人倾向。

1.提取用户自己填写的资料,比如注册时意味着活动中填写的性别资料,那此数据准确率一般很高。

消费能力指用户的购买力,意味着做得足够细致,能要能要能了把用户的实际消费水平和在每个类目的心理消费水平区分开,分别建立形态学 纬度。

4. 模型训练,一些形态学 意味着无法直接从数据清理得到,比如用户感兴趣的内容或用户的消费水平,没办法 能要能要能了通过分类分类整理到的已知形态学 进行学习和预测。

用户画像涉及到少量的数据除理和形态学 提取工作,往往需要用到多数据来源,且多人并行除理数据和珍成形态学 。一些,需要一两个 数据管理系统来对数据统一进行合并存储和分类分类整理。大伙的系统以约定的目录形态学 来组织数据,基本目录层级为:/user_tag/属性/日期/来源_作者/。以性别形态学 为例,开发者dev1从用户姓名提取的性别数据存放路径为 /user_tag/gender/20170101/name_dev1,开发者dev2从用户填写资料提取的性别数据存放路径为 /user_tag/gender/20170102/raw_dev2。

没办法 用户画像有那此作用,能帮助大伙达到那此目标呢?

                     

用户形态学 的提取即用户画像的生产过程,大致能要能要能了分为以下几步:

大体能要能要能了能要能了总结为以下几只方面:

当然,对于特定的网站或App,肯定又有特殊关注的用户纬度,就需要把那此维度做到更加细化,从而能给用户提供更精准的个性化服务和内容。

这时只用到了用户的行为形态学 主次,而人口属性、网购偏好、内容偏好、消费能力和环境形态学 等一些上下文还没办法 利用起来。把以上形态学 加入到LR模型,一齐加进进目标商品自身的属性,如文本标签、所属类目、销量等数据,如下图所示,进一步优化训练原来 的LR模型。从而最大程度利用意味着提取的用户画像数据,做到更精准的个性化推荐。

3. 数据清理,数据清理的过程通常地处Hadoop集群,有的是意味着与数据分类分类整理一齐进行,你你是什么 步的主要工作,是把分类分类整理到各种来源、杂乱无章的数据进行字段提取,得到关注的目标形态学 。

以内容为主的媒体或阅读类网站,还有搜索引擎或通用导航类网站,往往会提取用户对浏览内容的兴趣形态学 ,比如体育类、娱乐类、美食类、理财类、旅游类、房产类、汽车类等等。

2. 提取用户的称谓,如文本暗含 提到的对方称呼,例如:xxx先生/女士,你你是什么 数据也比较准。

用户画像的生产

另外还能要能要能了加进用户的环境属性,比如当前时间、访问地点LBS形态学 、当地天气、节假日情况等。

从主次来源提取的数据可信度是不同的,可是各来源提取的数据需要给出一定的权重,约定一般为0-1之间的一两个 概率值,原来 系统在做数据的自动合并时,只需要做简单的加权求和,并归一化输出到集群,存储到原来 定义好的Hive表。接下来假如数据增量更新到HBase、ES、Spark集群等更多应用服务集群。

用户画像的含义

电商购物网站的用户画像,一般会提取用户的网购兴趣和消费能力等指标。网购兴趣主要指用户在网购时的类目偏好,比如服饰类、箱包类、居家类、母婴类、洗护类、饮食类等。

应用示例:个性化推荐

5. 属性预测,利用训练得到的模型和用户的已知形态学 ,预测用户的未知形态学 。

用户画像的作用

3. 个性服务:个性化推荐、个性化搜索等。