Attention自2017年由Google提出至今，在seq2seq（编码解码）的任务表现出色，在NLP领域的应用也都有多项突破。我觉得attention对于深度学习将会产生深远的影响。这篇文章主要会介绍一下基于Attention的seq2seq模型和RNN base的seq2seq模型在算法上的一些区别，此外还顺便简要介绍一下LSTM和GRU算法。

阅读更多

上篇博文主要介绍了写一个简单的深度神经网络可能需要注意的细节点，这篇延续上篇内容，将在算法细节和调参上也写一点经验和想法。

阅读更多

从零开始写NN (neural network) 系列第一篇，本篇博文将会从代码结构上介绍一下怎么写一个简单的神经网络算法，下篇打算使用一个示例介绍一下如何调整参数细节。当然，这里的所谓从0开始，其实还是使用了numpy，有点像使用matlab的感觉。

阅读更多

人工智能领域的算法真是日新月异啊，最近CMU和Google Brain又提出了XLNet。
这篇博文还是从基础算法入手，介绍一下Back Propagation（简称BP），主要分为两个部分：反向传播的基本原理和RNN的反向传播算法，最后给出代码实现。

阅读更多

入坑自然语言处理，论文word2vec Parameter Learning Explained基本是必读的，这篇论文中的Hierarchical Softmax，中文叫做分层softmax/层次softmax是比较让人头大的内容，这篇博文试图阐述Hierarchical Softmax算法在word2vec中的应用。

阅读更多

Matrix Factorization算法是推荐系统（Recommendation System）的基础，本篇文章仅介绍一下基于矩阵分解的推荐系统是如何工作的以及Matrix Factorization算法，最后给出一个算法示例。内容比较浅显，深入算法原理还需要阅读更多的论文和资料。

阅读更多

对数几率回归/逻辑回归/逻辑斯蒂回归/最大熵模型也即Logistic Regression是深度学习的基础，算法的重要性不言而喻。Logistic Regression虽然叫“Rgression”，但其实与之前介绍的SVM分类（svc）方法一样，同属分类算法。本篇博文对该算法的介绍流程基本参考了李宏毅老师的机器学习课程，文章后半部分主要以问答的形式给出了关于逻辑斯蒂回归的部分理解。

阅读更多