%2F2021%2F10%2F20%2FAUC%2F 机器学习 AUC %2F2020%2F06%2F12%2F%E8%AE%A1%E7%AE%97%E6%9C%BA%E6%98%AF%E5%A6%82%E4%BD%95%E5%A4%84%E7%90%86%E5%AD%97%E7%AC%A6%E7%9A%84%2F 编程语言 字符 编码 %2F2020%2F05%2F31%2FCPlusPlus%E7%BC%96%E7%A8%8B%E8%AF%AD%E8%A8%80%E5%9F%BA%E7%A1%80%2F 编程语言 C++ C++ %2F2019%2F12%2F30%2FHuggingFace-Transformers%E6%89%8B%E5%86%8C%2F 深度学习 transformer %2F2019%2F12%2F25%2F%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E7%9B%B8%E5%85%B3%E7%9A%84%E6%A6%82%E7%8E%87%E8%AE%BA%E5%92%8C%E4%BF%A1%E6%81%AF%E8%AE%BA%E5%9F%BA%E7%A1%80%E7%9F%A5%E8%AF%86%2F 0 , \lim_{n \to \infty}P\{|\frac{1}{n} \sum_{k=1}^n X_k - \frac{1}{n} \sum_{k=1}^n \mu_k | < \epsilon \}=1将该公式应用于抽样调查，就会有如下结论：随着样本容量n的增加，样本平均数将接近于总体平均数。从而为统计推断中依据样本平均数估计总体平均数提供了理论依据。 特别需要注意的是，切比雪夫大数定理并未要求$X_1,X_2,..,X_n$同分布，相较于伯努利大数定律和辛钦大数定律更具一般性。 伯努利大数定律设$\mu$是$n$次独立试验中事件$A$发生的次数，且事件$A$在每次试验中发生的概率为$p$，则： \forall \epsilon > 0 , \lim_{n \to \infty}P\{|\frac{\mu_n}{n} - p | < \epsilon \}=1该定律是切比雪夫大数定律的特例，其含义是，当n足够大时，事件A出现的频率将几乎接近于其发生的概率，即频率的稳定性。 在抽样调查中，用样本成数去估计总体成数，其理论依据即在于此 辛钦大数定律设$X_1,X_2,..,X_n$是独立同分布的随机变量序列，且期望$E(X_k)=\mu_k$，则： \forall \epsilon > 0 , \lim_{n \to \infty}P\{|\frac{1}{n} \sum_{k=1}^n X_k - \frac{1}{n} \sum_{k=1}^n \mu_k | < \epsilon \}=1辛钦大数定律从理论上指出：用算术平均值来近似实际真值是合理的，而在数理统计中，用算术平均值来估计数学期望就是根据此定律，这一定律使算术平均值的法则有了理论依据。 中心极限定理中心极限定理，是指概率论中讨论随机变量序列部分和分布渐近于正态分布的一类定理。这组定理是数理统计学和误差分析的理论基础，指出了大量随机变量近似服从正态分布的条件。它是概率论中最重要的一类定理，有广泛的实际应用背景。在自然界与生产中，一些现象受到许多相互独立的随机因素的影响，如果每个因素所产生的影响都很微小时，总的影响可以看作是服从正态分布的。中心极限定理就是从数学上证明了这一现象。 独立同分布的中心极限定理设$X_1,X_2,..,X_n$是独立同分布的随机变量序列，并且具有有限期望$E(X_k)=\mu_k$和方差$D(X_k)=\sigma^2$ ，则对于任意$X$，分布函数： F_n(x)=P\{ \dfrac{\sum_{i=1}^n X_i - n \mu}{\sigma \sqrt {n}} \le x \}满足 \lim_{n \to \infty}F_n(x)\{\dfrac{\sum_{i=1}^n X_i - n \mu}{\sigma \sqrt {n}} \le x \}= \dfrac{1}{\sqrt {2\pi}} \int_{- \infty}^x e^{- \frac{t^2}{2}}dt该定理说明，当$n$很大时，随机变量$Y_n = \dfrac{\sum_{i=1}^n X_i - n \mu}{\sigma \sqrt {n}}$近似地服从标准正态分布$N(0, 1)$。 棣莫佛－拉普拉斯定理棣莫弗—拉普拉斯中心极限定理，即二项分布以正态分布为其极限分布定律。 设随机变量$X_1,X_2,..,X_n$是服从参数为$n, p(0<p<1)$的二项分布，则对于任意有限区间$(a, b)$有： \lim_{n \to \infty}P\{a < \dfrac{X_n - n p}{\sqrt {np(1-p)}} \le b \}= \int_{a}^b \dfrac{1}{\sqrt {2\pi}} e^{- \frac{t^2}{2}}dt该定理表明，正态分布是二项分布的极限分布，当数充分大时，我们可以利用上式来计算二项分布的概率。 不同分布的中心极限定理该定理说明：所研究的随机变量如果是有大量独立的而且均匀的随机变量相加而成，那么它的分布将近似于正态分布。 最大似然估计最大似然法明确地使用概率模型，其目标是寻找能够以较高概率产生观察数据的系统发生树。 概率分布概率分布，是指用于表述随机变量取值的概率规律。如果试验结果用变量$X$的取值来表示，则随机试验的概率分布就是随机变量的概率分布，即随机变量的可能取值及取得对应值的概率。 伯努利分布在机器学习中，我们经常会使用一些常见的概率分布。最简单的概率分布是伯努利分布，它是单个二进制随机变量上的离散分布。它由参数$\phi \in [0, 1]$定义，该参数控制随机变量$X$等于1的概率：$P(x=1) = \phi$。 相反，$P(x=0) = 1 - \phi$。由此得出伯努利分布的概率质量函数： P(X=x) = \phi ^x(1 - \phi )^{1-x}二项分布二项分布是$n$个独立的是/非试验中成功的次数的离散概率分布，其中每次试验的成功概率为$\phi$。这样的单次成功/失败试验又称为伯努利试验。 正态分布正态分布（Normal distribution），也称“常态分布”，又名高斯分布（Gaussian distribution）。 一维正态分布若随机变量$X$服从一个位置参数为$\mu$、尺度参数为$\sigma$的概率分布，且其概率密度函数为： N(x; \mu, \sigma ^2)= \sqrt {\dfrac{1}{2 \pi \sigma ^2}} exp(- \dfrac {(x- \mu)^2}{2 \sigma ^2})则这个随机变量$X$就称为正态随机变量，正态随机变量服从的分布就称为正态分布，记作 $X \sim N(\mu , \sigma ^2) $，读作$X$服从$X \sim N(\mu , \sigma ^2) $，或$X$服从正态分布。 标准正态分布当$\mu = 0, \sigma = 1$时，正态分布就成为标准正态分布： N(x; 0, 1)= \dfrac{1}{\sqrt {2 \pi}} exp(- \dfrac {x^2}{2})经验分布通常，我们将使用经验分布（empirical distribution）或数据生成分布（data generating distribution）来近似我们想要学习的真实基础分布。 如果数据是离散的，那么我们可以简单地使用多元分布，其中每个数据点的概率就是训练过程中其频率，其经验分布是： \hat P(\boldsymbol x) = \frac{1}{n} \sum_{k=1}^n \boldsymbol 1_{\boldsymbol x_i = \boldsymbol x}其中$\boldsymbol 1$是一个指示函数，如果$\boldsymbol x_i = \boldsymbol x$则它的值为1，否则为0。 如果数据是连续的，其经验分布是： \hat p(\boldsymbol x) = \frac{1}{n} \sum_{k=1}^n \delta ({\boldsymbol x - \boldsymbol x_i})其中$\delta(X)$是狄拉克增量函数（Dirac delta function），其满足以下定义即可：$\int_{- \infty}^{\infty} \delta (x) dx=1, \delta(X=0) = \infty$ ，其它$\delta(X)=0$。 信息论信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。 在机器学习中，将使用信息论中的度量来根据两个概率分布所编码的信息来表征两个概率分布之间的差异。与数据的经验分布相比，这将为我们提供模型正在学习的概率分布的“良好”度量。 自信息 / 信息量信息论的基本量度是自信息（Self-information），又称信息量，它使我们能够确定事件$x \in X$的含有的信息的多寡： I(x) = - logP(x)如果$log$的底为2，那么信息量的单位是bit；如果底为$e$，那么信息量的单位是nats。 香农熵 / 信息熵香农熵，又称信息熵，表示来自概率分布$P$的所有事件$x$含有的信息量的期望值，香农熵有效地衡量了概率分布中包含的不确定性。 H(x) = \mathbb E_{x \sim P}[I(x)] = - \mathbb E_{x \sim P} [logP(x)]相对熵 / KL散度我们可以将熵的概念扩展到两个分布，相对熵，又被称为KL散度（Kullback-Leibler divergence）或信息增益，是两个概率分布间差异的非对称性度量。在在信息理论中，相对熵等价于两个概率分布的信息熵的差值： D_{KL}(P||Q)=KL(Q||P) = - \mathbb E_{x \sim P} [log \dfrac{P(x)}{Q(x)}] = - \mathbb E_{x \sim P} [logP(x) - logQ(X)]JS散度JS散度（Jensen-Shannon divergence），度量两个概率分布之间的差异性的定义： JSD(P||Q) = \dfrac{1}{2} D_{KL}(P||M) + \dfrac{1}{2} D_{KL}(Q||M)其中$M = \dfrac{1}{2}(P + Q)$。 交叉熵交叉熵（cross-entropy）主要用于度量两个概率分布间的差异性信息，其定义是： H(P, Q) = - \mathbb E_{x \sim P} [logQ(X)]给交叉熵加减$\mathbb E_{x \sim P} [logP(x)]$，得到： \begin{aligned} H(P, Q) &= -\mathbb E_{x \sim P} [logP(x)] + \mathbb E_{x \sim P} [logP(x)] - \mathbb E_{x \sim P} [logQ(X)] \\ &= -\mathbb E_{x \sim P} [logP(x)] + \mathbb E_{x \sim P} [logP(x) - logQ(X)] \\ &= H(P) + D_{KL}(P||Q) \end{aligned}即： H(P, Q) = H(P) + D_{KL}(P||Q)概率分布$P$和$Q$的交叉熵等于概率分布$P$的熵与概率分布$P$和$Q$的散度。 逐点相互信息点向互信息（PMI，Pointwise mutual information）是两个离散随机变量$X$和$Y$的结果之间关联的一种度量。具体来说，它衡量了随机变量$X$和$Y$联合与其各自概率的乘积之间的差异： PMI(x, y) = log \dfrac{P(x, y)}{P(x)P(y)}自然语言处理中的一种经典方法是计算语料库中每对单词之间的PMI，该PMI存储在互信息矩阵MI中。潜在的语义分析可以用来分解这样的矩阵。互信息（MI）是PMI的期望值： I(X; Y) = \sum_{y \in Y} \sum_{x \in X} PMI(x, y)我们将使用互信息矩阵MI来表征学习出的表示（learned representations）和输出标签（output labels）之间的关联。 相关资源《可视化统计概率入门书》 学习概率论 注意重点利用该书的目录结构顺序和可视化效果学习，但不可全信该书，该书的中文翻译有少许错误存在，多查资料！ 该书籍介绍 书籍首页 GitHub Distribution is all you need 深度学习研究人员的基本分布概率教程，涵盖以下图中的12种常见分布。 Neural Transfer Learning for Natural Language ProcessingRuder S. Neural Transfer Learning for Natural Language Processing[D]. NATIONAL UNIVERSITY OF IRELAND, GALWAY, 2019. 该论文 2.1 概率论和信息论 系统性地讲解了与自然语言处理相关的概率论和信息论知识。 待整理资料常见分布的期望与方差 Wasserstein距离 切比雪夫定理切比雪夫定理 百度百科切比雪夫不等式到底是个什么概念? 统计推断统计推断是通过样本推断总体的统计方法。总体是通过总体分布的数量特征即参数 (如期望和方差) 来反映的。因此，统计推断包括： 对总体的未知参数进行估计;对关于参数的假设进行检查; 对总体进行预测预报等。科学的统计推断所使用的样本，通常通过随机抽样方法得到。统计推断的理论和方法论基础，是概率论和数理统计学。统计推断：频率学派频率学派通过观察数据来确定背后的概率分布。统计推断：贝叶斯学派贝叶斯学派的思想是用数据来更新特定假设的概率。 似然函数似然函数 $P(X|\theta)$ 表达了在不同的参数 $\theta$ 下，观测数据出现的可能性的大小。注意，似然函数不是参数 $\theta$ 的概率分布，并且似然函数关于参数 $\theta$ 的积分并不（一定）等于1。 似然与概率的区别 补充：L($\theta$|x)=f(x|$\theta$)这个等式表示的是对于事件发生的两种角度的看法。其实等式两遍都是表示的这个事件发生的概率或者说可能性。再给定一个样本x后，我们去想这个样本出现的可能性到底是多大。统计学的观点始终是认为样本的出现是基于一个分布的。那么我们去假设这个分布为f，里面有参数 $\theta$。对于不同的$\theta$，样本的分布不一样。f(x|$\theta$)表示的就是在给定参数$\theta$的情况下，x出现的可能性多大。L($\theta$|x)表示的是在给定样本x的时候，哪个参数$\theta$使得x出现的可能性多大。所以其实这个等式要表示的核心意思都是在给一个$\theta$和一个样本x的时候，整个事件发生的可能性多大。 似然与概率的联系 最大似然估计如何通俗地理解“最大似然估计法”? 共轭先验分布在贝叶斯统计中，如果后验分布与先验分布属于同类，则先验分布与后验分布被称为共轭分布，而先验分布被称为似然函数的共轭先验。比如，高斯分布家族在高斯似然函数下与其自身共轭(自共轭)。这个概念，以及”共轭先验”这个说法，由霍华德·拉法拉和罗伯特·施莱弗尔在他们关于贝叶斯决策理论的工作中提出。类似的概念也曾由乔治·阿尔弗雷德·巴纳德独立提出。 具体地说，就是给定贝叶斯公式 $p(\theta|x)=\dfrac{p(x|\theta)p(\theta)}{\int p(x|\theta’)d(\theta’)}$，假定似然函数 $p(x|\theta)$ 是已知的，问题就是选取什么样的先验分布 $p(\theta)$ 会让后验分布与先验分布具有相同的数学形式。 共轭先验的好处主要在于代数上的方便性，可以直接给出后验分布的封闭形式，否则的话只能数值计算。共轭先验也有助于获得关于似然函数如何更新先验分布的直观印象。所有指数家族的分布都有共轭先验。]]> 数学 %2F2019%2F11%2F29%2F%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0%E6%A1%86%E6%9E%B6%E8%87%AA%E5%8A%A8%E6%B1%82%E5%AF%BC%E5%92%8C%E6%A2%AF%E5%BA%A6%E4%B8%8B%E9%99%8D%E7%9A%84%E5%8E%9F%E7%90%86%2F Artificial Intelligence Navigation 自动求导 反向传播 梯度下降 %2F2019%2F11%2F28%2F%E7%90%86%E8%A7%A3%E5%BC%A0%E9%87%8F%2F 数学 张量 张量 %2F2019%2F11%2F13%2F%E7%A7%91%E5%AD%A6%E4%B8%8A%E7%BD%91%E4%B8%8E%E5%86%85%E7%BD%91%E7%A9%BF%E9%80%8F%2F 技能 科学上网与内网穿透 %2F2019%2F11%2F08%2F%E6%9C%89%E8%B6%A3%E5%A5%BD%E7%8E%A9%E7%9A%84%E7%BD%91%E7%AB%99%2F %2F2019%2F11%2F04%2FGit%E6%89%8B%E5%86%8C%2F 技能 Git %2F2019%2F10%2F22%2F%E7%99%BE%E5%BA%A6%E8%89%BE%E5%B0%BCERNIE%2F 论文 语言模型 ERNIE %2F2019%2F10%2F02%2F%E6%AD%A3%E5%88%99%E8%A1%A8%E8%BE%BE%E5%BC%8F%2F %2F2019%2F09%2F30%2FXGBoost%E7%9A%84%E5%B7%A5%E7%A8%8B%E5%B8%88%E6%89%8B%E5%86%8C%2F Artificial Intelligence Navigation XGBoost的工程师手册 %2F2019%2F09%2F11%2F%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0%E7%AE%97%E6%B3%95%E7%9A%84%E5%95%86%E4%B8%9A%E5%BA%94%E7%94%A8%E6%A1%88%E4%BE%8B%2F Artificial Intelligence 商业实践 TensorFlow 分类 %2F2019%2F08%2F29%2F%E6%95%B0%E6%8D%AE%E7%BB%93%E6%9E%84%E7%AE%97%E6%B3%95%E9%A2%98%E8%A7%A3%2F 数学 %2F2019%2F08%2F27%2Ftext-generation%2F 深度学习 文本生成 %2F2019%2F08%2F18%2F%E4%B8%AD%E6%96%87%E6%96%87%E6%9C%AC%E7%BA%A0%E9%94%99%2F 机器学习 %2F2019%2F08%2F16%2F%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E4%B8%AD%E7%9A%84%E5%B8%B8%E8%AF%86%E6%80%A7%E9%97%AE%E9%A2%98%2F %2F2019%2F08%2F05%2F%E5%BC%82%E5%B8%B8%E6%A3%80%E6%B5%8B%2F 论文 异常检测 %2F2019%2F08%2F04%2F%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E4%B8%AD%E7%9A%84%E5%BE%AE%E7%A7%AF%E5%88%86%2F 数学 微积分 %2F2019%2F08%2F01%2F%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0%E4%B8%AD%E7%9A%84%E8%AE%A1%E7%AE%97%E9%A2%98%2F 深度学习 %2F2019%2F07%2F22%2F%E5%9F%BA%E4%BA%8EPython%E5%AE%9E%E7%8E%B0%E7%9A%84%E6%8E%92%E5%BA%8F%E7%AE%97%E6%B3%95%2F 数学 排序 %2F2019%2F07%2F17%2FPython%E6%89%8B%E5%86%8C%2F Artificial Intelligence Navigation Python手册 Python Python基础知识 %2F2019%2F07%2F13%2F%E4%BD%BF%E7%94%A8TensorFlow%E8%87%AA%E5%8A%A8%E5%88%86%E7%B1%BBNAVER%E8%B4%AD%E7%89%A9%E4%BA%A7%E5%93%81%E7%B1%BB%E5%88%AB%2F Artificial Intelligence 商业实践 TensorFlow 分类 %2F2019%2F07%2F11%2F%E7%9F%AD%E8%A7%86%E9%A2%91%E5%88%86%E7%B1%BB%E6%8A%80%E6%9C%AF%2F Artificial Intelligence 商业实践 分类 %2F2019%2F07%2F03%2FXLNet_Generalized_Autoregressive_Pretraining_for_Language_Understanding%2F 论文 语言模型 XLNet %2F2019%2F07%2F03%2FXLNet_Generalized_Autoregressive_Pretraining_for_Language_Understanding%E7%BF%BB%E8%AF%91%2F 论文 论文写作 XLNet %2F2019%2F07%2F01%2F%E5%9B%BE%E5%83%8F%E9%A3%8E%E6%A0%BC%E8%BF%81%E7%A7%BB%2F 论文 图像风格迁移 图像风格迁移 %2F2019%2F06%2F29%2FTransformer%E4%BB%A3%E7%A0%81%E5%AE%9E%E7%8E%B0%2F 深度学习 Transformer Attention Transformer %2F2019%2F06%2F29%2F%E7%94%9F%E6%88%90%E5%BC%8F%E5%AF%B9%E6%8A%97%E7%BD%91%E7%BB%9C%2F 深度学习 生成对抗网络 GAN 生成式对抗网络 %2F2019%2F06%2F19%2FTensorFlow%E6%89%8B%E5%86%8C%2F Artificial Intelligence Navigation TensorFlow手册 深度学习框架 %2F2019%2F06%2F13%2F%E5%B8%8C%E5%B0%94%E4%BC%AF%E7%89%B9%E7%A9%BA%E9%97%B4%2F 数学 希尔伯特空间 %2F2019%2F06%2F11%2F%E6%96%87%E6%9C%AC%E5%88%86%E7%B1%BB_%E8%B0%B7%E6%AD%8C%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E6%8C%87%E5%8D%97%2F 机器学习 文本分类 %2F2019%2F06%2F10%2FMulti-Task_Deep_Neural_Networks%2F 论文 语言模型 MT-DNN %2F2019%2F06%2F05%2F%E5%AF%B9%E6%8A%97%E8%AE%AD%E7%BB%83%2F 论文 对抗训练 论文 对抗训练 %2F2019%2F06%2F04%2FEfficientNet_Rethinking_Model_Scaling_for_Convolutional_Neural_Networks%2F 论文 ImageNet %2F2019%2F05%2F28%2F%E4%BF%A1%E6%81%AF%E6%8A%BD%E5%8F%96%E4%BB%BB%E5%8A%A1%E7%9B%B8%E5%85%B3%E8%AE%BA%E6%96%87%E5%8F%91%E5%B1%95%E8%84%89%E7%BB%9C%2F 论文 信息抽取 论文 实体识别 关系抽取 %2F2019%2F05%2F17%2F%E5%A4%9A%E5%85%B3%E7%B3%BB%E6%8A%BD%E5%8F%96%E7%A0%94%E7%A9%B6%2F 论文 信息抽取 论文 实体识别 关系抽取 %2F2019%2F05%2F09%2FMultiple-Relations-Extraction-Only-Look-Once%2F 论文 信息抽取 论文 论文实现 %2F2019%2F05%2F03%2FJoint%20entity%20recognition%20and%20relation%20extraction%20as%20a%20multi-head%20selection%20problem%2F 论文 信息抽取 论文 实体识别 关系抽取 %2F2019%2F04%2F30%2FPytorch%E6%89%8B%E5%86%8C%2F Artificial Intelligence Navigation Pytorch手册 %2F2019%2F04%2F30%2F%E7%9B%AE%E6%A0%87%E6%A3%80%E6%B5%8B%2F 论文 目标检测 论文 目标检测 %2F2019%2F04%2F29%2F%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C%E8%B5%84%E6%BA%90%2F 机器学习 神经网络 %2F2019%2F04%2F29%2F%E7%9B%AE%E6%A0%87%E6%A3%80%E6%B5%8B%E4%B9%8BLibra%20R-CNN%2F 论文 目标检测 论文 目标检测 %2F2019%2F04%2F22%2F%E9%A2%84%E8%AE%AD%E7%BB%83%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%EF%BC%88ULMFiT%E3%80%81EMLo%E5%92%8CBERT%EF%BC%89%E7%9A%84%E6%A0%B8%E5%BF%83%E7%90%86%E8%AE%BA%E3%80%81%E5%B7%A5%E5%85%B7%E4%BD%BF%E7%94%A8%E3%80%81%E7%9B%B8%E5%85%B3%E8%AE%BA%E6%96%87%E6%B1%87%E6%80%BB%2F 论文 语言模型 论文 语言模型 %2F2019%2F04%2F22%2FRobust%20Chinese%20Word%20Segmentation%20with%20Contextualized%20Word%20Representations%2F 论文 论文阅读 分词 ELMo %2F2019%2F04%2F20%2F%E7%9B%AE%E6%A0%87%E6%A3%80%E6%B5%8B%E4%B9%8BYOLO%2F 论文 目标检测 论文 目标检测 %2F2019%2F04%2F19%2F%E8%AE%BA%E6%96%87%E4%B8%96%E7%95%8C%2F 论文 论文 %2F2019%2F04%2F10%2F%E5%A6%82%E4%BD%95%E5%81%9A%E5%A5%BD%E6%96%87%E6%9C%AC%E5%88%86%E7%B1%BB%2F 实验 文本分类 %2F2019%2F04%2F08%2F%E8%AE%BA%E6%96%87%E5%86%99%E4%BD%9C%E6%96%B9%E6%B3%95%E4%B8%8E%E5%B7%A5%E5%85%B7%2F 论文 论文写作 论文 %2F2019%2F03%2F18%2F%E6%A7%BD%E5%A1%AB%E5%85%85%E5%92%8C%E6%84%8F%E5%9B%BE%E8%AF%86%E5%88%AB%E4%BB%BB%E5%8A%A1%E7%9A%84%E5%9F%BA%E6%9C%AC%E6%A6%82%E5%BF%B5%2F 深度学习 口语理解 意图识别 槽填充 %2F2019%2F03%2F16%2F%E6%A7%BD%E5%A1%AB%E5%85%85%E5%92%8C%E6%84%8F%E5%9B%BE%E8%AF%86%E5%88%AB%E4%BB%BB%E5%8A%A1%E7%9B%B8%E5%85%B3%E8%AE%BA%E6%96%87%E5%8F%91%E5%B1%95%E8%84%89%E7%BB%9C%2F 论文 口语理解 论文 意图识别 槽填充 %2F2019%2F03%2F01%2F%E7%A5%9E%E7%BB%8F%E6%9C%BA%E5%99%A8%E7%BF%BB%E8%AF%91%2F 论文 神经机器翻译 神经机器翻译 NMT %2F2019%2F02%2F28%2F%E6%B3%A8%E6%84%8F%E5%8A%9B%E6%9C%BA%E5%88%B6%2F 深度学习 注意力机制 Attention Mechanism %2F2019%2F02%2F18%2FDiSAN%20Directional%20Self-Attention%20Network%20for%20RNN_CNN-Free%20Language%20Understanding%2F 论文 语言理解 论文 %2F2019%2F02%2F18%2FDeep%20Semantic%20Role%20Labeling%20with%20Self-Attention%2F 论文 语义角色标注 论文 %2F2019%2F01%2F24%2F%E8%81%8A%E5%A4%A9%E6%9C%BA%E5%99%A8%E4%BA%BA%2F 深度学习 聊天机器人 %2F2019%2F01%2F24%2FSlot-Gated_Modeling_for_Joint_Slot_Filling_and_Intent_Prediction%2F 论文 口语理解 Dialogue %2F2019%2F01%2F22%2FPycharm%2F 技能 Pycharm %2F2019%2F01%2F18%2Fflair%2F 深度学习框架 Pytorch %2F2019%2F01%2F09%2FSequence_to_Sequence%E7%A0%94%E7%A9%B6%2F 深度学习 seq2seq %2F2019%2F01%2F09%2F%E6%9C%BA%E5%99%A8%E7%BF%BB%E8%AF%91%2F 实验 机器翻译 machine translation %2F2019%2F01%2F07%2F%E4%B8%BB%E9%A2%98%E6%A8%A1%E5%9E%8B%2F 机器学习 主题模型 %2F2019%2F01%2F07%2F%E8%AF%8D%E5%B5%8C%E5%85%A5Embedding%E5%92%8C%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8BLanguageModel%2F 深度学习 Embedding 词嵌入 %2F2019%2F01%2F06%2FTensorFlow_Datasets%E4%BD%BF%E7%94%A8%2F Artificial Intelligence Navigation TensorFlow手册 TensorFlow TensorFlow Function Usage %2F2019%2F01%2F03%2FLearned_in_Translation_Contextualized_Word_Vectors%2F 论文 论文阅读 迁移学习 词向量 GoVe %2F2019%2F01%2F03%2FRegularizing_and_Optimizing_LSTM_Language_Models%2F 论文 论文阅读 Language Model %2F2018%2F12%2F27%2FStanfordCS%2F 机器学习 stanford ML %2F2018%2F12%2F27%2F%20GloVe_Global_Vectors_for_Word_Representation%2F 论文 Glove %2F2018%2F12%2F26%2F%E5%91%BD%E5%90%8D%E5%AE%9E%E4%BD%93%E8%AF%86%E5%88%ABCoNLL2003%2F 论文 论文 %2F2018%2F12%2F25%2FBidirectional_Encoder_Representations_Transformers%E7%BF%BB%E8%AF%91%2F 论文 论文写作 BERT %2F2018%2F12%2F23%2FEM%E6%9C%80%E5%A4%A7%E6%9C%9F%E6%9C%9B%E7%AE%97%E6%B3%95%2F 机器学习 最大期望算法 最大期望算法 混合高斯模型 K-means算法 %2F2018%2F12%2F18%2FTensorFlow_rnn_cell_impl%E6%BA%90%E7%A0%81%E9%98%85%E8%AF%BB%2F Artificial Intelligence Navigation TensorFlow手册 TensorFlow %2F2018%2F12%2F14%2FUniversal_Language_Model_Fine-tuning_for_Text_Classification%2F 论文 论文阅读 Language Model %2F2018%2F12%2F10%2FSQuAD%2F 论文 论文实现 SQuAD %2F2018%2F12%2F10%2FTensorFlow_seq2seq_attention_wrapper%E6%BA%90%E7%A0%81%E9%98%85%E8%AF%BB%2F Artificial Intelligence Navigation TensorFlow手册 TensorFlow %2F2018%2F12%2F10%2FBag_of_Tricks_for_Image_Classification_with_Convolutional_Neural_Networks%2F 论文 论文阅读 卷积神经网络 Tricks %2F2018%2F12%2F07%2F%E5%8D%B7%E7%A7%AF%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C%2F 深度学习 卷积神经网络 %2F2018%2F12%2F03%2FTensorFlow_dynamic_rnn_AND_bidirectional_dynamic_rnn%E4%BD%BF%E7%94%A8%2F Artificial Intelligence Navigation TensorFlow手册 TensorFlow %2F2018%2F12%2F02%2F%E5%8A%A8%E6%89%8B%E5%AD%A6%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0Gluon%2F %2F2018%2F11%2F29%2F%E5%BE%AA%E7%8E%AF%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C%2F 深度学习 循环神经网络 %2F2018%2F11%2F27%2F%E4%B8%AD%E6%96%87%E5%BA%8F%E5%88%97%E6%A0%87%E6%B3%A8%2F 实验 序列标注 %2F2018%2F11%2F27%2FBidirectional_Encoder_Representations_Transformers%2F 论文 语言模型 BERT %2F2018%2F11%2F27%2FOne%20Billion%20Word%20Benchmark%20for%20Measuring%20Progress%20in%20Statistical%20Language%20Modeling%2F 论文 论文阅读 Language Modeling %2F2018%2F11%2F27%2FUniversal%20Transformers%2F 论文 论文阅读 Transformers %2F2018%2F11%2F27%2FEfficient%20Estimation%20of%20Word%20Representations%20in%20Vector%20Space%2F 论文 论文阅读 Embedding word2vector %2F2018%2F11%2F26%2Ftensorflow_cookbook_%E8%87%AA%E7%84%B6%E8%AF%AD%E8%A8%80%E5%A4%84%E7%90%86%2F 深度学习 自然语言处理 %2F2018%2F11%2F24%2F%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C%2F 深度学习 神经网络 %2F2018%2F11%2F24%2F%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92%2F 机器学习 线性回归 %2F2018%2F11%2F23%2F%E6%9C%80%E8%BF%91%E9%82%BB%E7%AE%97%E6%B3%95%2F 机器学习 最近邻算法 %2F2018%2F11%2F22%2F%E6%94%AF%E6%8C%81%E5%90%91%E9%87%8F%E6%9C%BA%2F 机器学习 支持向量机 %2F2018%2F11%2F20%2FTransfer_learning_for_time_series_classification%2F 论文 论文阅读 迁移学习 文本分类 %2F2018%2F11%2F19%2FImproving_Language_Understanding_by_Generative_Pre-Training%2F 论文 论文阅读 GPT %2F2018%2F11%2F12%2FCoLA_data_set%2F 论文 论文实现 CoLA %2F2018%2F11%2F12%2F%E6%99%BA%E8%83%BD%E5%AE%B6%E5%B1%85%E8%87%AA%E7%84%B6%E8%AF%AD%E8%A8%80%E7%90%86%E8%A7%A3%E5%B9%B3%E5%8F%B0%E7%9A%84%E8%A7%A3%E5%86%B3%E6%96%B9%E6%A1%88%2F 项目 智能家居 项目 %2F2018%2F11%2F12%2F%E8%87%AA%E7%84%B6%E8%AF%AD%E8%A8%80%E7%90%86%E8%A7%A3%E4%B8%8E%E4%BA%A4%E4%BA%92%E6%8A%80%E6%9C%AF%E5%B9%B3%E5%8F%B0%2F 项目 智能家居 项目 %2F2018%2F11%2F11%2F%E6%99%BA%E8%83%BD%E5%AE%B6%E5%B1%85%E9%A1%B9%E7%9B%AE%E8%B0%83%E7%A0%94%2F 项目 智能家居 项目 %2F2018%2F11%2F06%2FLearningRate%E6%A8%A1%E5%9E%8B%E7%9A%84%E5%AD%A6%E4%B9%A0%E7%8E%87%2F 深度学习 LearningRate 学习率 %2F2018%2F11%2F06%2FAttention_is_All_You_Need%2F 论文 神经机器翻译 Attention Transformer Sequence-to-Sequence %2F2018%2F10%2F30%2FSemi_Supervised_sequence_tagging_with_bidirectional_language_models%2F 论文 论文阅读 Language Modeling word representations %2F2018%2F10%2F29%2FCharacter_Aware_Neural_Language_Models%2F 论文 论文阅读 Character Embedding Language Modeling %2F2018%2F10%2F29%2FELMo_Deep_contextualized_word_representations%E7%BF%BB%E8%AF%91%2F 论文 论文写作 Language Modeling ELMO word representations %2F2018%2F10%2F29%2FELMo_Deep_contextualized_word_representations%2F 论文 论文阅读 Language Modeling ELMO word representations %2F2018%2F10%2F24%2FKeras%E6%89%8B%E5%86%8C%2F Artificial Intelligence Navigation Keras手册 深度学习框架 Keras %2F2018%2F10%2F23%2F%E5%BE%AA%E7%8E%AF%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9CRNN%E9%95%BF%E7%9F%AD%E6%9C%9F%E8%AE%B0%E5%BF%86%E7%BD%91%E7%BB%9CLSTM%E4%B8%8E%E9%97%A8%E6%8E%A7%E5%BE%AA%E7%8E%AF%E7%BD%91%E7%BB%9CGRU%2F 深度学习 RNN LSTM GRU %2F2018%2F10%2F11%2FSMP2018%E4%B8%AD%E6%96%87%E4%BA%BA%E6%9C%BA%E5%AF%B9%E8%AF%9D%E6%8A%80%E6%9C%AF%E8%AF%84%E6%B5%8B%EF%BC%88ECDT%EF%BC%89%2F 实验 文本分类 %2F2018%2F10%2F10%2Ffasttext%2F 论文 文本分类 fasttext %2F2018%2F10%2F08%2FMarkDown%E9%97%AE%E9%A2%98%2F MarkDown %2F2018%2F10%2F04%2F%E6%9D%A1%E4%BB%B6%E9%9A%8F%E6%9C%BA%E5%9C%BA%2F 机器学习 CRF 条件随机场 %2F2018%2F09%2F30%2FAuto-Encoding%20Variational%20Bayes%2F 深度学习 变分自编码器 VAE 变分自编码器 %2F2018%2F09%2F30%2FSELU%2F 论文 论文阅读 正则化 Self-Normalizing 缩放指数型线性单元 selu %2F2018%2F09%2F27%2FACGAN%2F 论文 论文阅读 GAN ACGAN %2F2018%2F09%2F25%2FSequence%20to%20Sequence%20Learning%20with%20Neural%20Networks%2F 论文 论文阅读 seq2seq %2F2018%2F09%2F21%2FSelf-Attention%20A%20Targeted%20Evaluation%20of%20Neural%20Machine%20Translation%20Architectures%2F 论文 论文阅读 Self-Attention 注意力机制 %2F2018%2F09%2F17%2F%E6%89%B9%E6%AD%A3%E5%88%99%E5%8C%96%2F 论文 论文阅读 BN 批正则化 %2F2018%2F09%2F15%2FGroup%20Normalization%2F 论文 论文阅读 正则化 Group Normalization %2F2018%2F09%2F14%2F%E6%AE%8B%E5%B7%AE%E7%BD%91%E7%BB%9C%2F 深度学习 残差网络 %2F2018%2F09%2F14%2FDeep%20Residual%20Learning%20for%20Image%20Recognition%2F 论文 论文阅读 ResNet 残差网络 %2F2018%2F09%2F11%2FGenerative%20Adversarial%20Networks%2F 论文 论文阅读 GAN 生成式对抗网络 %2F2018%2F08%2F26%2F%E4%B8%BB%E6%88%90%E6%88%90%E5%88%86%E5%88%86%E6%9E%90%E3%80%81%E8%87%AA%E7%BC%96%E7%A0%81%E5%99%A8%E5%92%8C%E5%8F%98%E5%88%86%E8%87%AA%E7%BC%96%E7%A0%81%E5%99%A8%E8%A7%A3%E6%9E%90%2F 深度学习 变分自编码器 变分自编码器 主成成分分析 自编码器 %2F2018%2F08%2F26%2F%E5%8F%98%E5%88%86%E8%87%AA%E7%BC%96%E7%A0%81%E5%99%A8%2F 深度学习 变分自编码器 VAE 变分自编码器 %2F2018%2F08%2F24%2F%E8%83%B6%E5%9B%8A%E7%BD%91%E7%BB%9C%2F 深度学习 胶囊网络 Capsule Network %2F2018%2F08%2F09%2FBeginning_Application_Development_with_TensorFlow_and_Keras%2F Artificial Intelligence 商业实践 深度学习 书籍 %2F2018%2F08%2F01%2FHands-on%20Machine%20Learning%20with%20Scikit-Learn%20and%20TensorFlow%20%E4%B9%A0%E9%A2%98%E8%A7%A3%E7%AD%94%2F 机器学习 %2F2018%2F07%2F09%2F%E5%9B%9B%E5%B7%9D%E5%A4%A7%E5%AD%A6%E7%A0%94%E7%A9%B6%E7%94%9F%E8%BD%AF%E4%BB%B6%E9%A1%B9%E7%9B%AE%E7%AE%A1%E7%90%86%E6%9C%9F%E6%9C%AB%E8%80%83%E8%AF%95%E5%88%86%E6%9E%90%2F 软件项目管理 考试 %2F2018%2F07%2F01%2F%E4%BA%8C%E5%88%86%E7%B1%BB%E3%80%81%E5%A4%9A%E5%88%86%E7%B1%BB%E4%B8%8E%E5%A4%9A%E6%A0%87%E7%AD%BE%E9%97%AE%E9%A2%98%E7%9A%84%E5%8C%BA%E5%88%AB%E2%80%94%E2%80%94%E5%AF%B9%E5%BA%94%E6%8D%9F%E5%A4%B1%E5%87%BD%E6%95%B0%E7%9A%84%E9%80%89%E6%8B%A9%2F 实验 二分类 多分类 多标签 %2F2018%2F06%2F29%2F%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C%E5%8F%AF%E4%BB%A5%E8%AE%A1%E7%AE%97%E4%BB%BB%E4%BD%95%E5%87%BD%E6%95%B0%E7%9A%84%E5%8F%AF%E8%A7%86%E5%8C%96%E8%AF%81%E6%98%8E%2F 深度学习 Neural Networks and Deep Learning (Michael Nielsen) 深度学习 %2F2018%2F06%2F28%2F%E6%94%B9%E8%BF%9B%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C%E7%9A%84%E5%AD%A6%E4%B9%A0%E6%96%B9%E6%B3%95%E2%80%94%E2%80%94%E5%A6%82%E4%BD%95%E9%80%89%E6%8B%A9%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C%E7%9A%84%E8%B6%85%E5%8F%82%E6%95%B0%2F 深度学习 Neural Networks and Deep Learning (Michael Nielsen) 深度学习 超参数 Broad strategy Learning rate Early stopping %2F2018%2F06%2F27%2F%E6%94%B9%E8%BF%9B%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C%E7%9A%84%E5%AD%A6%E4%B9%A0%E6%96%B9%E6%B3%95%E2%80%94%E2%80%94%E4%BB%A3%E7%A0%81%E5%AE%9E%E7%8E%B0%2F 深度学习 Neural Networks and Deep Learning (Michael Nielsen) 深度学习 手写数字识别 代码实现 %2F2018%2F06%2F26%2F%E5%8D%B7%E7%A7%AF%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C%E7%9A%84%E5%8F%8D%E5%90%91%E4%BC%A0%E6%92%AD%E7%AE%97%E6%B3%95%2F 深度学习 深度学习 卷积神经网络 前向传播算法 反向传播算法 %2F2018%2F06%2F24%2F%E6%94%B9%E8%BF%9B%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C%E7%9A%84%E5%AD%A6%E4%B9%A0%E6%96%B9%E6%B3%95%E2%80%94%E2%80%94%E5%BC%83%E6%9D%83%2F 深度学习 Neural Networks and Deep Learning (Michael Nielsen) 深度学习 弃权（Dropout） %2F2018%2F06%2F24%2F%E6%94%B9%E8%BF%9B%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C%E7%9A%84%E5%AD%A6%E4%B9%A0%E6%96%B9%E6%B3%95%E2%80%94%E2%80%94%E6%AD%A3%E5%88%99%E5%8C%96%2F 深度学习 Neural Networks and Deep Learning (Michael Nielsen) 深度学习 正则化 奥卡姆剃刀原则 %2F2018%2F06%2F22%2F%E6%94%B9%E8%BF%9B%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C%E7%9A%84%E5%AD%A6%E4%B9%A0%E6%96%B9%E6%B3%95%E2%80%94%E2%80%94Softmax%2F 深度学习 Neural Networks and Deep Learning (Michael Nielsen) 深度学习 Softmax %2F2018%2F06%2F21%2F%E6%94%B9%E8%BF%9B%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C%E7%9A%84%E5%AD%A6%E4%B9%A0%E6%96%B9%E6%B3%95%E2%80%94%E2%80%94%E4%BA%A4%E5%8F%89%E7%86%B5%2F 深度学习 Neural Networks and Deep Learning (Michael Nielsen) 深度学习 交叉熵 %2F2018%2F06%2F21%2F%E5%8F%8D%E5%90%91%E4%BC%A0%E6%92%AD%E7%AE%97%E6%B3%95%2F 数学 反向传播算法 深度学习 反向传播算法 %2F2018%2F06%2F20%2F%E8%B4%9D%E5%8F%B6%E6%96%AF%E4%BC%B0%E8%AE%A1%E3%80%81%E6%9C%80%E5%A4%A7%E4%BC%BC%E7%84%B6%E4%BC%B0%E8%AE%A1%E3%80%81%E6%9C%80%E5%A4%A7%E5%90%8E%E9%AA%8C%E4%BC%B0%E8%AE%A1%E4%B8%89%E8%80%85%E7%9A%84%E5%8C%BA%E5%88%AB%2F 数学 贝叶斯估计 最大似然估计 最大后验估计 %2F2018%2F06%2F19%2F%E4%BD%BF%E7%94%A8%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C%E8%AF%86%E5%88%AB%E6%89%8B%E5%86%99%E6%95%B0%E5%AD%97%E2%80%94%E2%80%94%E4%BB%A3%E7%A0%81%E5%AE%9E%E7%8E%B0%2F 深度学习 Neural Networks and Deep Learning (Michael Nielsen) 深度学习 手写数字识别 代码实现 %2F2018%2F06%2F18%2F%E4%BD%BF%E7%94%A8%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C%E8%AF%86%E5%88%AB%E6%89%8B%E5%86%99%E6%95%B0%E5%AD%97%E2%80%94%E2%80%94%E6%A2%AF%E5%BA%A6%E4%B8%8B%E9%99%8D%E7%AE%97%E6%B3%95%2F 深度学习 Neural Networks and Deep Learning (Michael Nielsen) 深度学习 神经网络架构 二次代价函数 梯度下降算法 随机梯度下降算法 %2F2018%2F06%2F17%2F%E4%BD%BF%E7%94%A8%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C%E8%AF%86%E5%88%AB%E6%89%8B%E5%86%99%E6%95%B0%E5%AD%97%E2%80%94%E2%80%94%E6%84%9F%E7%9F%A5%E5%99%A8%2F \text{ threshold} \\ \end{cases}这就是一个感知器所要做的所有事情！ 目前为止我把像 $x_1$ 和 $x_2$ 这样的输入画成感知器网络左边浮动的变量。实际上，可以画一层额外的感知器输入层来方便对输入编码： 这种对有一个输出但没有输入的感知器的标记法， 是一种标准。它并不实际表示一个感知器没有输入。为了看清它，假设我们确实有一个没有输入的感知器。那么加权和 $\sum_j w_j x_j$ 会总是为零，并且感知器在 $b > 0$ 时输出 $1$，当 $b \leq 0$时输出 $0$。那样，感知器会简单输出一个固定值，而不是期望值（上例中的 $x_1$）。倒不如完全不把输入感知器看作感知器，而是简单定义为输出期望值的特殊单元，$x_1, x_2,\ldots$。 感知器做决策的原理随着权重和阈值的变化，你可以得到不同的决策模型。我们来看一个由感知器构成的网络。 在这个网络中，第一列感知器我们称其为第一层感知器通过权衡输入依据做出三个非常简单的决定。那第二层的感知器呢？每一个都在权衡第一层的决策结果并做出决定。以这种方式，一个第二层中的感知器可以比第一层中的做出更复杂和抽象的决策。在第三层中的感知器甚至能进行更复杂的决策。以这种方式，一个多层的感知器网络可以从事复杂巧妙的决策。 顺便提一下，当我定义感知器时我说的是感知器只有一个输出。在上面的网络中感知器看上去像是有多个输出。实际上，他们仍然是单输出的。多个感知器输出箭头仅仅便于说明一个感知器的输出被用于其它感知器的输入。 它和把单个输出线条分叉相比，显得讨巧些。 让我们简化感知器的数学描述。条件 $\sum_j w_j x_j$ 看上去有些冗长，我们可以创建两个符号的变动来简化。第一个变动是把 $\sum_j w_j x_j$ 改写成点乘，$w\cdot x \equiv \sum_j w_j x_j$，这里 $w$ 和 $x$ 对应权重和输入的向量。第二个变动是把阈值移到不等式的另一边，并用感知器的偏置 $b \equiv -threshold$ 代替。用偏置而不是阈值，那么感知器的规则可以重写为 \text{output} = \begin{cases} 0 & \quad \text{if } w\cdot x + b \leq 0 \\ 1 & \quad \text{if } w\cdot x + b > 0 \end{cases}我们可以把偏置看作一种表示让感知器输出 $1$（或者用生物学的术语，即激活感知器）有多容易的估算。对于具有一个非常大偏置的感知器来说，输出 $1$ 是很容易的。但是如果偏置是一个非常小的负数，输出$1$ 则很困难。很明显，引入偏置只是我们描述感知器的一个很小的变动，但是我们后面会看到它引导更进一步的符号简化。因此，在这本书的后续部分，我们不再用阈值，而总是使用偏置。 感知器与逻辑运算我已经描述过感知器是一种权衡依据来做出决策的方法。感知器被采用的另一种方式，是计算基本的逻辑功能，即我们通常认为的运算基础，例如“与”，“或”和“与非”。例如，假设我们有个两个输入的感知器，每个权重为 $-2$，整体的偏置为 $3$。这是我们的感知器， 这样我们得到：输入00产生输出1，即 (-2)0 + (-2)0 + 3 = 3 是正数。这里我用符号来显式地表示乘法。但是输入11产生输出 0，即 (-2)1 + (-2)*1 + 3 = -1 是负数。如此我们的感知器实现了一个与非门！ 与非门的例子显示了我们可以用感知器来计算简单的逻辑功能。实际上，我们完全能用感知器网络来计算任何逻辑功能。原因是与非门是通用运算，那样，我们能在多个与非门之上构建出任何运算。 感知器运算的通用性既是令人鼓舞的，又是令人失望的。令人鼓舞是因为它告诉我们感知器网络能和其它计算设备一样强大。但是它也令人失望，因为它看上去只不过是一种新的与非门。这简直不算个大新闻！ 然而，实际情况比这一观点认为的更好。其结果是我们可以设计学习算法，能够自动调整人工神经元的权重和偏置。这种调整可以自动响应外部的刺激，而不需要一个程序员的直接干预。这些学习算法是我们能够以一种根本区别于传统逻辑门的方式使用人工神经元。有别于显式地设计与非门或其它门，我们的神经网络能简单地学会解决问题，这些问题有时候直接用传统的电路设计是很难解决的。 S 型神经元学习算法听上去非常棒。但是我们怎样给一个神经网络设计这样的算法呢？假设我们有一个感知器网络，想要用它来解决一些问题。 引入 S 型神经元的原因例如，网络的输入可以是一幅手写数字的扫描图像。我们想要网络能学习权重和偏置，这样网络的输出能正确分类这些数字。为了看清学习是怎样工作的，假设我们把网络中的权重（或者偏置）做些微小的改动。就像我们马上会看到的，这一属性会让学习变得可能。这里简要示意我们想要的（很明显这个网络对于手写识别还是太简单了！）： 如果对权重（或者偏置）的微小的改动真的能够仅仅引起输出的微小变化，那我们可以利用这一事实来修改权重和偏置，让我们的网络能够表现得像我们想要的那样。例如，假设网络错误地把一个“9”的图像分类为“8”。我们能够计算出怎么对权重和偏置做些小的改动，这样网络能够接近于把图像分类为“9”。然后我们要重复这个工作，反复改动权重和偏置来产生更好的输出。这时网络就在学习。 问题是当我们给实际网络加上感知器时，结果并不像我们想象的那样。实际上，网络中单个感知器上一个权重或偏置的微小改动有时候会引起那个感知器的输出完全翻转，如 $0$ 变到 $1$。那样的翻转可能接下来引起其余网络的行为以极其复杂的方式完全改变。因此，虽然你的“9”可能被正确分类，网络在其它图像上的行为很可能以一些很难控制的方式被完全改变。这使得逐步修改权重和偏置来让网络接近期望行为变得困难。也许有其它聪明的方式来解决这个问题。但是目前为止，我们还没发现有什么办法能让感知器网络进行学习。 我们可以引入一种称为 S 型神经元的新的人工神经元来克服这个问题。S 型神经元和感知器类似，但是经过修改后，权重和偏置的微小改动只引起输出的微小变化。这对于让神经元网络学习起来是很关键的。 好了, 让我来描述下 S 型神经元。我们用描绘感知器的相同方式来描绘 S 型神经元： 正如一个感知器， S 型神经元有多个输入，$x_1,x_2,\ldots$。但是这些输入可以取 $0$ 和$1$ 中的任意值，而不仅仅是 $0$ 或 $1$。例如，$0.638\ldots$ 是一个 S 型神经元的有效输入。同样， S 型神经元对每个输入有权重，$w_1,w_2,\ldots$，和一个总的偏置，$b$。但是输出不是 $0$ 或 $1$。相反，它现在是 $\sigma(w \cdot x+b)$，这里 $\sigma$ 被称为 S型函数（顺便提一下，$\sigma$ 有时被称为逻辑函数，而这种新的神经元类型被称为逻辑神经元。既然这些术语被很多从事于神经元网络的人使用，记住它是有用的。然而，我们将继续使用 S 型这个术语。）定义为： \sigma(z) \equiv \frac{1}{1+e^{-z}}把它们放在一起来更清楚地说明，一个具有输入 $x_1,x_2,\ldots$，权重$w_1,w_2,\ldots$，和偏置 $b$ 的 S 型神经元的输出是： \frac{1}{1+\exp(-\sum_j w_j x_j-b)}S 型神经元的性质初看上去， S 型神经元和感知器有很大的差别。如果你不熟悉 S型函数的代数形式，它看上去晦涩难懂又令人生畏。实际上，感知器和 S 型神经元之间有很多相似的地方，跨过理解上的障碍，S 型神经元的代数形式具有很多技术细节。 为了理解和感知器模型的相似性，假设 $z \equiv w \cdot x + b$ 是一个很大的正数。那么 $e^{-z} \approx 0$ 而 $\sigma(z) \approx 1$。即，当 $z = w \cdotx+b$ 很大并且为正， S 型神经元的输出近似为 $1$，正好和感知器一样。相反地，假设 $z = w \cdot x+b$ 是一个很大的负数。那么$e^{-z} \rightarrow \infty$，$\sigma(z) \approx 0$。所以当 $z = w \cdot x +b$ 是一个很大的负数， S 型神经元的行为也非常近似一个感知器。只有在 $w \cdot x+b$ 取中间值时，和感知器模型有比较大的偏离。 $\sigma$ 的代数形式又是什么？我们怎样去理解它呢？实际上，$\sigma$ 的精确形式不重要，重要的是这个函数绘制的形状。是这样： 这个形状是阶跃函数平滑后的版本： 如果 $\sigma$ 实际是个阶跃函数，既然输出会依赖于 $w\cdot x+b$ 是正数还是负数。（实际上，当 $w \cdot x +b = 0$ ，感知器输出 $0$，而同时阶跃函数输出$1$。所以严格地说，我们需要修改阶跃函数来符合这点。但是你知道怎么做。）那么S型神经元会成为一个感知器。利用实际的 $\sigma$ 函数，我们得到一个，就像上面说明的，平滑的感知器。确实，$\sigma$ 函数的平滑特性，正是关键因素，而不是其细部形式。$\sigma$ 的平滑意味着权重和偏置的微小变化，即 $\Delta w_j$ 和 $\Delta b$，会从神经元产生一个微小的输出变化 $\Delta output$。实际上，微积分告诉我们 $\Delta output$ 可以很好地近似表示为： \Delta output \approx \sum_j \frac{\partial \, output}{\partial w_j} \Delta w_j + \frac{\partial \, output}{\partial b} \Delta b其中求和是在所有权重 $w_j$ 上进行的，而 $\partial \, output /\partial w_j$ 和$\partial \, output /\partial b$ 符号表示 $output$ 分别对于 $w_j$ 和 $b$ 的偏导数。如果偏导数这个概念让你不安，不必惊慌。上面全部用偏导数的表达式看上去很复杂，实际上它的意思非常简单（这可是个好消息）：$\Delta output$ 是一个反映权重和偏置变化，即 $\Delta w_j$ 和$\Delta b$，的线性函数。利用这个线性特性，我们比较容易细微地修改权重和偏置的值，从而获得我们需要的细微的输出变化。所以，因为 S 型神经元具有与感知器类似的本质行为，它们可以帮助我们了解权重和偏置的变化如何影响输出值。 如果对 $\sigma$ 来说重要的是形状而不是精确的形式，那为什么要在公式$\sigma(z) \equiv \frac{1}{1+e^{-z}}$中给 $\sigma$ 使用特定的形式呢？事实上，在下文我们还将不时地考虑一些神经元，它们给其它激活函数 $f(\cdot)$ 输出是 $f(w \cdot x + b)$。当我们使用一个不同的激活函数，最大的变化是公式$\Delta output \approx \sum_j \frac{\partial \, output}{\partial w_j} \Delta w_j + \frac{\partial \, output}{\partial b} \Delta b$ 中用于偏导数的特定值的改变。事实证明当我们后面计算这些偏导数，用 $\sigma$ 会简化数学计算，这是因为指数在求导时有些可爱的属性。无论如何，$\sigma$ 在神经网络的工作中被普遍使用，并且是这本书中我们最常使用的激活函数。 S 型神经元与感知器的关系一个感性的认识是：S 型神经元是阶跃函数平滑后的版本。 但可以在数学上证明如下两点： 假设我们把一个感知器网络中的所有权重和偏置乘以一个正的常数，$c>0$。可以证明网络的行为并没有改变。 假设我们有上题中相同的设置，一个感知器网络。同样假设所有输入被选中。我们不需要实际的输入值，仅仅需要固定这些输入。假设对于网络中任何特定感知器的输入 $x$， 权重和偏置遵循 $w \cdot x + b\neq 0$。现在用 S 型神经元替换所有网络中的感知器，并且把权重和偏置乘以一个正的常量 $c>0$。证明在 $c \rightarrow \infty$的极限情况下， S 型神经元网络的行为和感知器网络的完全一致。当一个感知器的 $w \cdot x + b = 0$ 时又为什么会不同？ 解释 S 型神经元的输出我们应该如何解释一个 S 型神经元的输出呢？很明显，感知器和 S 型神经元之间一个很大的不同是 S 型神经元不仅仅输出 $0$ 或 $1$。它可以输出 $0$ 到 $1$ 之间的任何实数，所以诸如 $0.173\ldots$ 和 $0.689\ldots$ 的值是合理的输出。这是非常有用的，例如，当我们想要输出来表示一个神经网络的图像像素输入的平均强度。但有时候这会是个麻烦。假设我们希望网络的输出表示“输入图像是一个9”或“输入图像不是一个9”。很明显，如果输出是 $0$ 或 $1$ 是最简单的，就像用感知器。但是在实践中，我们可以设定一个约定来解决这个问题，例如，约定任何至少为 $0.5$ 的输出为表示 “这是一个9”，而其它小于 $0.5$ 的输出为表示“不是一个9”。当我们正在使用这样的约定时，我总会清楚地提出来，这样就不会引起混淆。 人工神经元的其它模型到现在，我们使用的神经元都是 S 型神经元。理论上讲，从这样类型的神经元构建起来的神经网络可以计算任何函数。实践中，使用其他模型的神经元有时候会超过 S 型网络。取决于不同的应用，基于其他类型的神经元的网络可能会学习得更快，更好地泛化到测试集上，或者可能两者都有。让我们给出一些其他的模型选择，便于了解常用的模型上的变化。 可能最简单的变种就是 tanh 神经元，使用双曲正切函数替换了 S 型函数。输入为 $x$，权重向量为 $w$，偏置为 $b$ 的 tanh 神经元的输出是 \tanh(w \cdot x+b)这其实和 S 型神经元关系相当密切。回想一下 $\tanh$ 函数的定义： \tanh(z) \equiv \frac{e^z-e^{-z}}{e^z+e^{-z}}进行简单的代数运算，我们可以得到 \sigma(z) = \frac{1+\tanh(z/2)}{2}也就是说，$\tanh$ 仅仅是 S 型函数的按比例变化版本。我们同样也能用图像看看 $\tanh$ 的形状： 这两个函数之间的一个差异就是 $\tanh$ 神经元的输出的值域是 $(-1, 1)$ 而非 $(0,1)$。这意味着如果你构建基于 $\tanh$ 神经元，你可能需要正规化最终的输出（取决于应用的细节，还有你的输入），跟 sigmoid 网络略微不同。 类似于 S 型神经元，基于 S 型神经元的网络可以在理论上，计算任何将输入映射到$(-1, 1)$ 的函数（对于 tanh 和 S 型神经元，这个说法有一些技术上的预先声明。然而，非正式地，通常可以把神经网络看做可以以任意精度近似任何函数。）而且，诸如反向传播和随机梯度这样的想法也能够轻松地用在 tanh-neuron 神经元构成的网络上的。 参考文献[1] Michael Nielsen. CHAPTER 1 Using neural nets to recognize handwritten digits[DB/OL]. http://neuralnetworksanddeeplearning.com/chap1.html, 2018-06-17. [2] Zhu Xiaohu. Zhang Freeman.Another Chinese Translation of Neural Networks and Deep Learning[DB/OL]. https://github.com/zhanggyb/nndl/blob/master/chap1.tex, 2018-06-17. [3] Michael Nielsen. CHAPTER 3 Improving the way neural networks learn[DB/OL]. http://neuralnetworksanddeeplearning.com/chap3.html, 2018-06-28. [4] Zhu Xiaohu. Zhang Freeman.Another Chinese Translation of Neural Networks and Deep Learning[DB/OL]. https://github.com/zhanggyb/nndl/blob/master/chap3.tex, 2018-06-28.]]> 深度学习 Neural Networks and Deep Learning (Michael Nielsen) 深度学习 感知器 Sigmoid函数 S 型神经元 %2F2018%2F05%2F20%2FREADME%2F %2F2018%2F01%2F02%2FUniversal_Language_Model_Fine-tuning_for_Text_Classification%E7%BF%BB%E8%AF%91%2F 论文 论文阅读 Language Model