bayes公式与机器学习 - 再从零开始理解 从本科时候（大约9年前）刚接触Bayes公式，只知道P(A|B)×P(B) = P(AB) = P(B|A)×P(A) 到硕士期间，机器学习课上对P(B|A)P(A)冠以“先验概率”，而不知“先验”二字到底从何而来。 再到工作了几年之后重回校园，重新拾起对求知的热情，重新用向小白讲述Bayes公式的态度，让自己对它有最朴素的理解。尽量让像我一样刚入门的小白同学们，能用生活中最朴素的例子找到bayes公式中，“先验”二字的由来。 要理解bayes公式，需从全概率公式讲起： $$ P(A_i|B)=\frac {P(B|A_i)P(A_i)}{\displaystyle\sum_{j=1}^nP(B|A_j)\times P(A_j)} $$ 其中的全概率公式： $$ \displaystyle\sum_{j=1}^nP(B|A_j)\times P(A_j) = P(B) $$ 这里，可理解： $A_j \rightarrow Class_j$ (这是你样本可能从属的类别) $B \rightarrow Events \space or \space Data $ (这是你看到的样本的表象) 2.进一步理解 2.1 设有一幅扑克牌（这是一种等概率的情况） 摸到一张J,想知道它属于♥️这一类的概率。 这里，A是现象，是观察到的属性。♥️，♣️，♦️，♠️是对所有除了大王小王外的扑克牌的四个类别。 任务就是要根据现象J，对这张牌进行归类，求这张牌属于♥️这一类的概率。 $$ P(A|B) \text{就是看到J的情况下，属于} \heartsuit \text{的概率} $$ 这是我们要求的量。 $$ P(A|B)=\frac {P(B|A)P(A)}{P(B)} $$ $P(B|A)$ - 在已知♥️的牌中，有几个J,显然，1/13 $P(A)$ - 在整副牌中，红桃出现的概率：13/54 $P(B)$ - 在整副牌中，J出现的概率：4/54 这里这个P(B)可以是如下公式计算的： $$ \displaystyle\sum_{j=1}^nP(B|A_j)\times P(A_j) = P(B) $$ 即，$A_j$代表的是♥️，♣️，♦️，♠️中的某一个类别。例如，j=1， 我们认为是♥️，则，P(B|A1) = 1/13 P(A1) = 13/54 此时， $$ P(B|A_1) \times P(A_1) = \frac1{13} \times \frac {13}{54} = \frac{1}{54} $$ 当 j = 1,2,3,4 时，由于这里每个 $ P(B|A_j) $ 都是相等的，所以 $$ P(B) = 4 \times \frac{1}{54} = \frac{4}{54} $$ 所以，上面的P(A|B) 就能算出来了。因为P(B|A) ，P(A) ，P(B)都知道了。

你也许需要服务器运行jupyter notebook 阿里云： https://yq.aliyun.com/articles/98527 关于更安全的证书访问： http://jupyter-notebook.readthedocs.io/en/stable/public_server.html

来源： 谷歌学术 谷歌学术（镜像） cnki.net （一般从学校内网都能登录进去查文献，下文献） 学霸图书馆（终极疗法） 百度学术（你还在用“百度学术”? Are you kidding me?） 谷歌学术（镜像）： http://ac.scmor.com/ 学霸图书馆 http://xuebalib.com 进去买个钻石会员，以前不通畅的那些国外SCI ， WebOfKnowledge 等等，都顺畅了！ （我恨自己知道得太晚！！！） 基本的检索期刊的影响因子的方法，SCI 分区的方法，自己google。 看到下图的时候，我已然内牛满面。。。

Editted by MarkDown 寻找cost函数最小值：梯度下降与最小二乘法 参考：最小二乘法小结–刘建平 背景： 目标函数 = Σ（观测值-理论值）2 观测值就是我们的多组样本，理论值就是我们的假设拟合函数。目标函数也就是在机器学习中常说的损失函数，我们的目标是得到使目标函数最小化时候的拟合函数的模型。 最小二乘法的局限性和适用场景　从上面可以看出，最小二乘法适用简洁高效，比梯度下降这样的迭代法似乎方便很多。但是这里我们就聊聊最小二乘法的局限性。 首先，最小二乘法需要计算$\mathbf{X}^\mathbf{T}\mathbf{X}$的逆矩阵，有可能它的逆矩阵不存在，这样就没有办法直接用最小二乘法了，此时梯度下降法仍然可以使用。当然，我们可以通过对样本数据进行整理，去掉冗余特征。让$\mathbf{X}^\mathbf{T}\mathbf{X}$的行列式不为0，然后继续使用最小二乘法。 第二，当样本特征n非常的大的时候，计算$\mathbf{X}^\mathbf{T}\mathbf{X}$的逆矩阵是一个非常耗时的工作（nxn的矩阵求逆），甚至不可行。此时以梯度下降为代表的迭代法仍然可以使用。那这个n到底多大就不适合最小二乘法呢？如果你没有很多的分布式大数据计算资源，建议超过10000个特征就用迭代法吧。或者通过主成分分析降低特征的维度后再用最小二乘法。 第三，如果拟合函数不是线性的，这时无法使用最小二乘法，需要通过一些技巧转化为线性才能使用，此时梯度下降仍然可以用。 第四，讲一些特殊情况。当样本量m很少，小于特征数n的时候，这时拟合方程是欠定的，常用的优化方法都无法去拟合数据。当样本量m等于特征说n的时候，用方程组求解就可以了。当m大于n时，拟合方程是超定的，也就是我们常用与最小二乘法的场景了。

python数组和矩阵使用总结 1、数组和矩阵常见用法 Python使用NumPy包完成了对N-维数组的快速便捷操作。使用这个包，需要导入numpy。 SciPy包以NumPy包为基础，大大的扩展了numpy的能力。因此只要导入了scipy，不必在单独导入numpy了！为了使用的方便，scipy包在最外层名字空间中包括了所有的numpy内容。 本文还是区分numpy中实现的和scipy中实现的。 以下默认已经：import numpy as np 以及 impor scipy as sp numpy的基本类型是多维数组，把matrix看做是array的子类。 1.建立矩阵 a1=np.array([1,2,3],dtype=int)  #建立一个一维数组，数据类型是int。也可以不指定数据类型，使用默认。几乎所有的数组建立函数都可以指定数据类型，即dtype的取值。 a2=np.array([[1,2,3],[2,3,4]])  #建立一个二维数组。此处和MATLAB的二维数组（矩阵）的建立有很大差别。 同样，numpy中也有很多内置的特殊矩阵： b1=np.zeros((2,3))  #生成一个2行3列的全0矩阵。注意，参数是一个tuple：(2,3)，所以有两个括号。完整的形式为：zeros(shape,dtype=)。相同的结构，有ones()建立全1矩阵。empty()建立一个空矩阵，使用内存中的随机值来填充这个矩阵。 Numpy将二维数组添加到空数组:  numpy 初始化空数组，动态增加数据点 a=np.empty([0,3]) b = np.array([[1,2,3],[4,5,6]]) c=[[7,8,9]] print(a.shape, ‘a shape’) print(b.shape, ‘b shape’) a = np.append(a, b, axis=0) a = np.append(a, c, axis=0) print(a.shape, ‘a append b’) print(a.shape, ‘a append b append c’)   b2=identity(n)  #建立n*n的单位阵，这只能是一个方阵。 b3=eye(N,M=None,k=0)  #建立一个对角线是1其余值为0的矩阵，用k指定对角线的位置。M默认None。 此外，numpy中还提供了几个like函数，即按照某一个已知的数组的规模（几行几列）建立同样规模的特殊数组。这样的函数有zeros_like()、empty_like()、ones_like()，它们的参数均为如此形式：zeros_like(a,dtype=)，其中，a是一个已知的数组。 c1=np.arange(2,3,0.1)  #起点，终点，步长值。含起点值，不含终点值。 c2=np.linspace(1,4,10)  #起点，终点，区间内点数。起点终点均包括在内。同理，有logspace()函数 d1=np.linalg.companion(a)  #伴随矩阵 d2=np.linalg.triu()/tril()  #作用同MATLAB中的同名函数 e1=np.random.rand(3,2)  #产生一个3行2列的随机数组。同一空间下，有randn()/randint()等多个随机函数 fliplr()/flipud()/rot90()  #功能类似MATLAB同名函数。 xx=np.roll(x,2)  #roll()是循环移位函数。此调用表示向右循环移动2位。 2.数组的特征信息 先假设已经存在一个N维数组X了，那么可以得到X的一些属性，这些属性可以在输入X和一个.之后，按tab键查看提示。这里明显看到了python面向对象的特征。 X.flags  #数组的存储情况信息。 X.

jupyter notebook home path changing - %USERFROFILE% and Configure file 如何改变jupyter notebook默认初始文件路径，网上都提供了很多方法。Link1 , Link2 但他们都没让你这样测试： [Win] + R , "cmd", 在windows命令行运行： C:/ProgramData/Anaconda3/python.exe C:/ProgramData/Anaconda3/Scripts/jupyter-notebook-script.py 注：如果这样测试可以修改，而通过开始菜单双击“Jupyter Notebook”快捷方式还是没改过来，那就往下看。 他们都忽略了一个问题：在 Jupyter Notebook 快捷方式 - 属性 - Shortcut Tag- Target 栏内的内容，会影响你修改的效果。 即：可能你已经改了以下文件： C:\Users\<username>\.jupyter\jupyter_notebook_config.py 并把快捷方式里Start In内改成了你要的path: C:\Users\<username>\<your_preferred_path> 还是可能不生效，原因就是 Target 里的%USERFROFILE%或别的内容在使改动不生效。 我的Target内内容： "C:/ProgramData/Anaconda3/python.exe" "C:/ProgramData/Anaconda3/Scripts/jupyter-notebook-script.py" ----- Nov 2, 2017 Updated: 1. Install Anaconda 5 2. add the path of "jupyter notebook.exe" into Environment Varialble: "path" make sure you can launch jupyter notebook by: launching cmd command: "jupyter notebook"

Markdown中插入数学公式的方法 http://blog.csdn.net/xiahouzuoxin/article/details/26478179   \$[你的公式Tex语法]\$ 或，行间公式： \$\$[你的公式Tex语法]\$\$  注： \$ = $ cnblogs:  $$ \Large x=\frac{-b\pm\sqrt{b^2-4ac}}{2a} $$ \( \Large x=\frac{-b\pm\sqrt{b^2-4ac}}{2a}  \)  $$ \Large x=\frac{-b\pm\sqrt{b^2-4ac}}{2a} $$ \( \Large x=\frac{-b\pm\sqrt{b^2-4ac}}{2a} \) 方法一：使用Google Chart的服务器 <img src="http://chart.googleapis.com/chart?cht=tx&chl= 在此插入Latex公式" style="border:none;"> 一个例子， <img src="http://chart.googleapis.com/chart?cht=tx&chl=\Large x=\frac{-b\pm\sqrt{b^2-4ac}}{2a}" style="border:none;"> 公式显示结果为： 适用了下，Google Chart服务器的响应速度还可以，但据说可能复杂一些的Latex公式可能无法解析（参考[2]）。 方法二：使用forkosh服务器 forkosh上提供了关于Latex公式的一份简短而很有用的帮助，参考[1]和[3]. 使用forkosh插入公式的方法是 <img src="http://www.forkosh.com/mathtex.cgi? 在此处插入Latex公式"> 给个例子， <img src="http://www.forkosh.com/mathtex.cgi? \Large x=\frac{-b\pm\sqrt{b^2-4ac}}{2a}"> 显示结果为： 因为网页插入公式的原理是调用“某某网站的服务器”动态生成的，所有保证公式正常显示的前提是该网址能一直存在着为我等小生做些小小的服务。forkosh我是用了快2年了，一直很好，推荐！ 方法三：使用MathJax引擎 大家都看过Stackoverflow上的公式吧，漂亮，其生成的不是图片。这就要用到MathJax引擎，在Markdown中添加MathJax引擎也很简单， <script type="text/javascript" src="http://cdn.mathjax.org/mathjax/latest/MathJax.js?config=default"></script> 然后，再使用Tex写公式。$$公式$$表示行间公式，本来Tex中使用\(公式\)表示行内公式，但因为Markdown中\是转义字符，所以在Markdown中输入行内公式使用\\(公式\\)，如下代码： $$x=\frac{-b\pm\sqrt{b^2-4ac}}{2a}$$ \\(x=\frac{-b\pm\sqrt{b^2-4ac}}{2a}\\) 分别显示结果（行间公式）：   x=−b±b2−4ac−−−−−−−√2a 行内公式： x=−b±b2−4ac√2a 不信，你可以试一下，在公式上还可以使用鼠标右键操作。 参考 [1] http://www.forkosh.com/mathtextutorial.html [2] http://www.ruanyifeng.com/blog/2011/07/formula_online_generator.html [3] http://www.forkosh.com/mathtex.html    

  General essay writting tips Strategies for Essay Writing - Harvard  

写在前面：以前一直喜欢Google Search by English key words, 最近听说按中文找够用了，找了几个中文的博客，还是不对味，写得不好，不利于学习。 不得不Google:"quick understand bp neural networks"， 很快找到想要的。 ========== A Quick Introduction to Neural Networks（点击查看原文，科学点儿） Posted on August 9, 2016 by ujjwalkarn An Artificial Neural Network (ANN) is a computational model that is inspired by the way biological neural networks in the human brain process information. Artificial Neural Networks have generated a lot of excitement in Machine Learning research and industry, thanks to many breakthrough results in speech recognition, computer vision and text processing. In this blog post we will try to develop an understanding of a particular type of Artificial Neural Network called the Multi Layer Perceptron.

  Faster RCNN原理分析（二）：Region Proposal Networks详解 http://lib.csdn.net/article/deeplearning/61641 0814： A quick Introduction to Neural Networks: https://ujjwalkarn.me/2016/08/09/quick-intro-neural-networks/