数据挖掘

日志

CNN-卷积神经网络

CNN 的核心思想：局部感受野（local field） + 权值共享 + 亚采样 。

1
CNN 主要由四类层（layer）组成，即卷积层(Conv)、激活层(Activation)、池化层(Pooling) 以及全连接层(FC/Dense)。

卷积层（Convolution）

传统神经网络采用全连接的方式，往往容易导致需要训练的参数非常庞大，甚至难以训练，卷积神经网络通过卷积层的“局部连接”和“参数共享”的特性大大减少训练参数。

举例：输入 100 x 100, 隐藏层有10个神经元

传统全连接方式（Full Connected）
输入 100 x 100 与每一个神经元连接，需要训练 100 x 100 x 10 = 100000 个参数（不考虑bias）

局部连接（Sparse Connectivity）
假设每个神经元只与局部 10 x 10 个输入连接，那么只需要训练 10 x 10 x 10 = 1000 个参数！！

权值共享（Shared Weights）
如果每个神经元的连接使用相同的权值，那么实际训练参数进一步压缩到 10 x 10 x 1 = 100 个参数！！

卷积层如何生成

卷积核 (或称滤波器，filter/kernel)

2
上图是一个尺寸为 3×3 的卷积核, 即每个神经元由输入的 3×3 局部连接所得，卷积核的值通过训练来学习。

卷积核的 stride 值

3
stride 指卷积核的移动步长(这其实就是权值共享的表现)，上图 stride=2，卷积核每次移动两个单元。

卷积核的 padding 值

4
padding 即在输入矩阵的四周添加填充，一方面可以减少原输入的边缘影响，另一方面可以用于维持输入和输出的维度一致（需要 stride 配合）。

padding 的常见术语包括:
(1) valid: 即 no padding
(2) same：通过填充使得输入和输出的维度保持一致

输出维度计算（取下界）：
8

卷积输出-Feature Map（特征图）

实际上卷积核的作用就是对输入层进行特征学习，卷积核可以看成是对输入的一种特征映射，通过这种特征映射，一个卷积核对应生成一个特征图（Feature Map），即上图的 Result。

多通道卷积

5
当输入有多个通道（channel）时(例如图片可以有 RGB 三个通道)，卷积核需要拥有相同的channel数,每个卷积核 channel 与输入层的对应 channel 进行卷积，将每个 channel 的卷积结果按位相加得到最终的 Feature Map。

多卷积核

6
当有多个卷积核时，可以学习到多种不同的特征，对应产生包含多个 channel 的 Feature Map, 例如上图有两个 filter，所以 output 有两个 channel。

为什么不需要全连接而只需要局部连接就会有效果？

对于图像而言，局部区域的像素关联性往往很强，而相距较远的区域关联性往往很弱。同样，对于文本而言，相近的词汇在语义表达上往往有紧密联系而相隔较远的词汇语义关联则相对较低。因此，只需要对局部信息进行特征提取，最后综合起来就能达到全局感知。

激活层（Activation）

阅读全文 →

日志

RNN/LSTM-递归神经网络

关于递归神经网络的理论介绍推荐阅读这篇非常经典的文章 → Understanding LSTM Networks
本文为总结笔记

一、RNN vs LSTM

RNN 逻辑结构图

1

LSTM 逻辑结构图

2

LSTM 是 RNN 的变体，它们的原理几乎一样，唯一的不同是 output 即 hidden state 的计算逻辑不同

RNN 如何计算某个时刻 t 的 output ?

h_t = tanh(W*[h_{t-1}, x_t]+b)

LSTM 如何计算某个时刻 t 的 output ?

遗忘门(Forget Gate): 控制遗忘哪些记忆（Cell state）

f_t = sigmoid(W_f*[h_{t-1}, x_t] + b_f)

新信息：候选记忆信息

{C}^{*} = tanh(W_c*[h_{t-1}, x_t]+b_c)

输入门(Input Gate)：控制加入哪些新信息到记忆中

i_t = sigmoid(W_i*[h_{t-1}, x_t] + b_i)

新记忆：遗忘部分旧记忆，加入部分新记忆信息，得到最新的cell state

C_t = f_t*C_{t-1} + i_t*{C}^{*}

输出门(Output Gate)：控制当前最新记忆的对应输出值

o_t = sigmoid(W_o*[h_{t-1}, x_t] + b_o)

输出值：最终的 hidden state

h_t = o_t*tanh(C_t)

当 Forget Gate=0, Input Gate=1, Output Gate=1 时 LSTM 与 RNN 等价

LSTM 为什么优于 RNN ?

RNN 通过叠乘的方式进行状态更新，当 sequence 比较长时容易出现梯度消失/爆炸的情况，主要原因是反向传播的连乘效应，而 LSTM 是通过门控制的叠加方式来更新状态（C_t的计算公式），所以可以有效防止梯度问题，当然对于超长的 sequence，LSTM 依然会有梯度消失或者爆炸的可能。

二、RNN/LSTM 中的 num_units 是啥意思 ？

3
num_units 相当于神经网络的隐层神经元的个数，例如上图表示一个 LSTM Cell，包含四个神经网络层，即黄色方框部分，num_units 就是每个神经网络结构的隐层神经元个数(全连接单元数)，它实际上也是 LSTM 输出向量的维度数，所以 h_t 为 num_units 维向量。

三、如何计算 Keras 的 LSTM layer 的参数个数？

假设 LSTM(num_units = 150),输入维度 input_dims = 100,那么共需要训练的参数个数为：

(num\_units + input\_dims + 1) * num\_units * 4 = 150600

说明：
1. num_units + input_dims 是因为上层输出需要首先与输入进行一次concat，即 [h_t-1, x_t],
2. + 1 是因为 bias
3. * 4 是因为共有4个神经网络层（黄色方框）
4. 为什么不需要乘以 time_steps 即 number of cell ?
因为递归神经网络的每个 cell 实际上只是在不同时态下的状态，所以不同 cell 共用同一套权重，文章开头的结构图只是为了理解方便而将递归过程展开，实际上任何时候都只存在一个 cell !!

四、为什么 LSTM 要用 sigmoid 作为门控激活函数 ？

因为sigmoid的输出在0~1之间，可以很好地控制信息的删除和保留。

五、为什么 LSTM 的输入和输出值不用 sigmoid 而用 tanh 作为激活函数 ？

LSTM 内部维护了一个状态向量，其值应该可以增加或者减少，而 sigmoid 的输出为非负数，所以状态信息只能增加，显然不合适，相反，tanh 的输出范围包含了正负数，因此可以满足状态的增减。

六、什么是 sequence?

阅读全文 →

日志

基于 CCO 的协同过滤推荐

基于 CCO(Correlated Cross-Occurrence) 的协同过滤本质上是一种 Item-Based CF 算法

基于 CCO 的协同过滤推荐

基于 CCO 的协同过滤推荐通过物品之间的共现情况来计算物品之间的关联度，它跟一般的协同过滤算法不同的地方在于一般的协同过滤只能针对单一行为，而CCO算法可以计算交叉行为下的协同关联。

例如：它不仅可以通过用户的浏览行为来告诉你 “浏览了内容A的人可能会浏览内容B” ,它还能结合用户的浏览行为和用户的广告点击行为来告诉你 “点击了广告A的人可能会浏览内容F”。

基于单一行为

假设有以下用户浏览行为日志：
用户行为log

整理后得到以下关系：
u1=> [ t1, t2, t3, t5 ]
u2=> [ t1, t3, t4, t5 ]
u3=> [ t2, t4 ]

构建 “用户关于浏览帖子” 的矩阵 V 以及对应的转置矩阵 V^T：
mtV

将 矩阵V^T 乘以 矩阵 V 即可得到浏览帖子的共现矩阵：
mtVV

对数似然比（Log Likelihood Ratio）即LLR。我们根据两个事件的共现关系计算LLR值，用于衡量两个事件的关联度：
LLR
阅读全文 →

日志

常用推荐算法比较

在推荐系统中常用的推荐算法一般可以分为两类，即 基于内容推荐 以及 协同过滤。另外，还有一类算法专门处理冷启动问题，例如：基于全局最优推荐。

基于内容推荐

基于内容推荐（Content-based Recommendations）非常好理解，简单来说就是根据用户偏好的内容给他推荐其他相似的内容。

cb

图：基于内容推荐

例如：从用户画像我们发现某个用户比较喜欢活跃在“音乐”、“体育”、“动漫”、“影视” 这些栏目，那么我们就会更倾向推荐这些栏目的内容给他，我们还发现他平时偏好的是关于 “NBA”、“美剧”、“邓紫棋” 等方面的内容，那么跟这些相关的内容就会有更高的推荐权重。

评价

基于内容推荐的结果一般具有很强的解释性，因为它推荐的就是强相关的内容，但这种强相关的特点也会导致一个很明显的缺陷，它缺乏惊喜度，因此它很难挖掘用户潜在的兴趣。要解决惊喜度的问题，可以采用另一类算法–协同过滤。

协同过滤

协同过滤（Collaborative Filtering）推荐本质上也是一个找相似的过程，但它认为的相似不是指物品在属性上的相似，而是指在用户行为的层面上这些物品是否有关联，协同过滤一般可以分为 基于用户的协同过滤（User-CF） 和 基于物品的协同过滤（Item-CF）。

用户物品偏好

图：用户物品偏好

基于用户的协同过滤

解释：因为 用户1 与 用户2 都喜欢物品A、B、C、D、E，所以认为 用户1 和 用户2 是兴趣相似的用户，现在发现 用户2 还喜欢 物品F 所以我们认为 用户1 很可能也对 物品F 感兴趣，所以向 用户1 推荐 物品F。

基于物品的协同过滤

解释：因为喜欢 物品A 的大多数都喜欢 物品C，所以可以认为 物品A 和 物品C 是相似的。用户4 喜欢 物品A 所以向 用户4 推荐 物品C。

评价

协同过滤集合了群体智慧，能满足推荐惊喜度，善于发掘用户潜在的兴趣。训练的用户历史行为数据越多，一般训练出来的模型效果也会越好。协同过滤推荐的解释性一般较弱，推荐结果不如基于内容推荐算法直观，当然这是算法特点导致的，不直观不等于不正确。
阅读全文 →

日志

个性化推荐系统的基本抽象

在大多数 UGC、PGC、OGC 平台中，“推荐”随处可见，本文主要介绍个性化推荐系统的抽象组成。

关于推荐

人工 VS 个性化

  • 早期的推荐功能大多以人工筛选为主。人工筛选可以确保内容的高质量，这是主要的优点之一，但人工筛选往往需要投入大量的人力成本。另外，由于不同用户的个人偏好差异巨大，高质量的内容往往不等于最合适的内容（例如：一篇介绍奢侈品牌化妆品的“高大上”内容对于一位平时只关心美食和户外运动的用户而言可能是毫无吸引力的）。

  • 为了提升用户体验，后来出现了“个性化内容推荐”的概念，通过引入个性化推荐系统，解决这类“千人千面”的问题。

推荐系统抽象

个性化推荐系统一般有三大环节：预处理 -> 召回 -> 排序 。
注：也可以认为是两层（召回 -> 排序）

预处理

第一个环节是预处理，预处理指的是对各种数据源的数据进行特征提取和特征构建，例如：内容特征提取，用户行为画像构建。

召回

第二个环节是召回，召回就是把预处理产生的特征作为输入参数，训练出推荐模型，然后使用推荐模型得出候选集合的过程。常用的召回方式有：基于内容推荐、基于协同过滤推荐等。

排序

第三个环节是排序，简单来说就是将候选集合根据一定的规则，例如：点击预估、匹配关联度、人为权重等进行调整，从而影响最后的推荐顺序。

推荐系统架构

最后简单画了一个基本的推荐系统架构原型
个性化推荐系统框架

图：个性化推荐系统架构 ©️hejunhao.me
转载请注明出处:

© http://hejunhao.me

日志

基于词向量的文本分类推断

之前的文章中介绍过提取文本标签特征（关键词）的几种算法TF-IDF、TextRank、TWE, 提取到标签特征后，我们可以进一步推断文本的内容分类。本文主要介绍通过词向量模型进行内容分类的一般思路。

提取文本标签特征

假设有以下一段文本：

2016/17赛季欧冠决赛在威尔士卡迪夫千年球场打响，最终尤文图斯以1-4不敌皇家马德里，遗憾错失冠军。赛后，尤文门将布冯表示对结果非常失望，因为尤文已经做了所有能做的事情。

通过关键词提取算法我们提取到以下标签：
#欧冠、#决赛、#尤文图斯、#皇家马德里、#布冯、#门将、#球场、#冠军

假设我们有一个关于体育的分类体系:
分类体系

图：分类体系
  • 一级分类：体育
  • 二级分类：篮球（关联标签：NBA，CBA，篮球，篮板球，助攻，盖帽，FIBA，姚明，乔丹，三双…）
  • 二级分类：足球（关联标签：世界杯，亚冠，欧冠，中超，足球，英超，西甲，梅西，里皮，马拉多纳，门将，广州恒大，曼联…）

分类推断

通过词向量模型（Word2Vec）我们可以计算两个词之间的相似度（余弦距离）：

Similarity(tagA, tagB) = cos(tagA_Vec, tagB_Vec)

因此，计算文本与分类的相似度实际上就是计算文本的标签与各个分类的关联标签的相似度。
我们发现上面这段文本与足球的相似度大于与篮球的相似度:

Dist(doc_tags, soccer_tags) > Dist(doc_tags, basketball_tags)

所以推断它是关于足球的内容，再进一步把它归类到体育这个一级分类。

转载请注明出处:

© http://hejunhao.me

日志

基于 TWE 模型的关键词提取

在之前的两篇文章中分别介绍了两种常见的关键词提取算法：TF-IDF 和 TextRank。实际上不管是 TF-IDF 还是 TextRank，它们都没有考虑文本的语义，也就是文本的内容意义。为了进一步提升效果，我们引入主题模型（LDA）和词向量模型（word2vec）也就是TWE算法。

TWE (Topical Word Embedding)

主题模型

LDA

图：主题向量模型
  • 在主题模型中每个主题实际上是一系列代表该主题的词的分布 ，例如：上图主题 Topic#1 包含的主题词分布主要有 “红包”、“微信”、“支付宝”、“玩法”等，文字大小代表该词的概率分布差异，可以推断 Topic#1 是一个关于新年红包活动的主题。

词向量模型

word2vec

图：词向量模型
  • 在词向量模型中每个词都有自己的坐标，关联度越高的词相互的距离越近。例如：“梅西” 和 “足球” 的距离比 “奥巴马” 与 “足球” 的距离要近得多，所以 “梅西” 与 “足球” 的关联度相比 “奥巴马” 更高。

基于 TWE 提取关键词

  1. 通过主题模型我们可以知道一段文本的主题分布：P(topic | doc)
  2. 结合词向量和主题向量，我们可以通过余弦函数计算两者的距离：cos(word_vec, topic_vec)
  3. 通过计算词向量与该文本所有关联主题的主题向量的余弦相似度，最终得到词与文本的语义关联度：
Sim\displaystyle\text{(word, doc)}=\sum_{k=1}^K \cos(\text{word\_vec, topic\_vec}_{_k}) \times P(\text{topic}_{_k} \mid \text{doc})

算法比较

假设有以下一段文本：
文本
分别对该文本采用 TF-IDF、TextRank 以及 TWE 算法提取关键词，结果如下：
算法对比

效果评价

  1. TF-IDF 更倾向于高频词。
  2. TextRank 综合考虑文本结构和词频，但它致命的问题在于，头尾的信息由于只有单边的入度，容易被抛弃掉，例如本例中的核心词 “pagerank”。
  3. TWE 更强调语义相关性，实际的提取效果也优于前面两种方式。

论文参考

转载请注明出处:

© http://hejunhao.me

日志

NLP 关键词提取算法之 TextRank

对文本提取关键词，除了经典的 TF-IDF 算法，还有另一种常用的算法 — TextRank

TextRank 介绍

TextRank 是一种基于图的排序算法，它的基本思想来自于著名的 Google PageRank.

PageRank via @Wikipedia

图：PageRank via @Wikipedia

PageRank 的基本思想

  • 一个网页的入链越多，它就越重要。
  • 如果一个网页被越重要的网页所指向，它也越重要。

TextRank 算法简释

下图是通过 TextRank 进行关键词提取的一个简单例子
例子

图：通过 TextRank 提取文本关键词

通过 TextRank 进行关键词提取的主要步骤

  1. 对文本进行分词，并去掉停用词以及非目标词性词汇。
  2. 通过一个固定长度的滑动窗口在分词文本上滑动，每个窗口内的词根据共现关系构建一条边，最终形成一个图。
  3. 对图进行 PageRank，实际上就是投票和迭代的过程。
  4. 选出权重最高的 TopK 个词。

算法总结

  • TextRank 算法一定程度上考虑了文本中词与词之间的关系，也就是文本结构，在实际应用中它的效果一般会比 TF-IDF 好，当然它的计算复杂度也比 TF-IDF 高得多。
  • TextRank 算法更擅长处理长文本，对短文本的效果并不理想，主要因为短文本的词汇信息较弱，构建的图并不理想。
  • TextRank 算法仍然倾向于选择出现较为频繁的词作为关键词。
转载请注明出处:

© http://hejunhao.me

日志

NLP 关键词提取算法之 TF-IDF

TF-IDF 是处理 NLP 问题时经常使用的经典算法，常用于对文本进行关键词的提取。

TF-IDF 介绍

计算公式

TF-IDF 的计算非常简单


TF-IDF = TF(\text{文章词频}) * IDF(\text{逆文档频率})

概念解释

TF: 指某个词在一段文本中出现的词频


TF = \dfrac{\text{某个词在文章中出现的次数}}{\text{文章总词数}}

IDF: 指某个词在所有文本（对应语境所在的训练语料，例如：科学领域、体育领域）中的区分度，它认为越少出现的词区分度越高，相应的 IDF 值也越高。


IDF = \log\dfrac{(\text{训练语料的总文档数+1})}{(\text{出现该词的文档数+1})}

分母 “+1” 是为了防止分母为零，同时相应地分子 “+1” 以防止 IDF 为负数。

算法总结

经验

从计算公式可知，TF-IDF 的准确性非常依赖 IDF 模型的质量。同一个词在不同领域对应的区分度（IDF）也不同甚至差别巨大，例如 “冠军” 在体育领域的语料中出现的次数远远大于在政治领域的语料中所出现的次数，这意味着在后者的语境下，“冠军” 这个词的区分度更高，IDF 值更大。要提升 TF-IDF 的算法效果一般需要根据业务场合单独训练特定领域的 IDF 模型。

评价

  • TF-IDF 计算复杂度低，适合对效率优先的场景。
  • 由于它只依赖关键词的统计特征进行排序，有时候效果并不理想，比如有时候文本的关键要素不一定是频繁出现的元素。
  • 另外它也缺乏对文本结构的考虑。
转载请注明出处:

© http://hejunhao.me

日志

方差、标准差、均方误差、协方差的区别

简单介绍 方差、标准差、均方误差、协方差的基本概念以及计算公式，以区分它们的作用。

方差（Variance）

用来度量随机变量和其数学期望（即均值）之间的偏离程度


σ^2 = \dfrac{(x_1 - \bar{X})^2 + (x_2 - \bar{X})^2 ... + (x_n - \bar{X})^2}{(n-1)} = \dfrac{\sum_{i=1}^n{(x_i - \bar{X})^2}}{(n-1)}


备注：n-1 原因是无偏估计

标准差（Standard Deviation）

又叫均方差 ， 反映一个数据集的离散程度（波动大小）.

标准差 = 方差的算术平方根


σ = \sqrt{\dfrac{(x_1 - \bar{X})^2 + (x_2 - \bar{X})^2 ... + (x_n - \bar{X})^2}{(n-1)}} =\sqrt{\dfrac{\sum_{i=1}^n{(x_i - \bar{X})^2}}{(n-1)}}

问：有了方差为何需要标准差？

答：标准差的量纲（单位）与数据集一致，更直观描述波动范围。

均方误差（Mean Squared Error）

用来度量预测值与真实值的偏离程度

y:预测值 ， Y:真实值


MSE = \dfrac{(y_1 - Y_1)^2 + (y_2 - Y_2)^2 ... + (y_n - Y_n)^2}{n} = \dfrac{\sum_{i=1}^n{(y_i - Y_i)^2}}{n}

协方差 (Covariance)

两个变量有多大的“可能”朝一个方向改变？协方差用于度量这个“可能”的程度。如果两个变量的变化方向一致，那么协方差为正，反之为负。其中，变化指变量与它的数学期望的差值。


Cov(x,y) = \dfrac{(x_1 - \bar{X})(y_1 - \bar{Y}) + (x_2 - \bar{X})(y_2 - \bar{Y}) ... + (x_n - \bar{X})(y_n - \bar{Y})}{(n-1)}
         = \dfrac{\sum_{i=1}^n{(x_i - \bar{X})(y_i - \bar{Y})}}{(n-1)}

当 cov(x,y)>0 ，则 X 与 Y 正相关；
当 cov(x,y)<0 , 则 X 与 Y 负相关；
当 cov(x,y)=0 ，则 X 与 Y 不相关。

转载请注明出处:

© http://hejunhao.me