Roach's Blog

努力，为了可以做自己想做的事情

Adaboost 初识

ADAptive BOOSTing

AdaBoost, short for “Adaptive Boosting”, is a machine learning meta-algorithm formulated by Yoav Freund and Robert Schapire who won the Gödel Prize in 2003 for their work. 哥德尔奖颁发给理论计算机领域最杰出的学...

Posted by Roach on July 28, 2016

ML涉及的数学

出来混总是要还的

上帝应该先嚼得高数，后玩的骰子。高等数学切向量首先，切向量是对但变量函数来说的 $y = f(x)$ ，或者 $f(x, y) = 0$。因为对于多元变量函数，在某一点说的就是切平面了。函数在某点的切向量又称函数在该点切向的方向向量。如果函数在某点的斜率为 $k$，那么函数在该点的切向量就是 $(1, k)$。证明：已知，点 $B$ 是函数在 $A$ 点切向...

Posted by Roach on July 4, 2016

广义线性模型与Softmax

一点儿logistic回归——对数几率回归

本文是Andrew NG在网易公开课第四讲的关于Softmax，以及UFLDL Tutorial中Softmax回归的学习笔记和理解。欲解决的问题逻辑回归是用来处理二分类问题，类标 $y^{(i)} \in {0,1}$，而Softmax回归是逻辑回归的扩展：同样将代测样本预测为某一类，但是类别 $y^{(i)} \in {1,\ldots,K}$，这里 $K$ 是类别个数。对数...

Posted by Roach on May 16, 2016

Feature selection

One startpoint of ml

维数灾难 The curse of dimensionality refers to various phenomena that arise when analyzing and organizing data in high-dimensional spaces (often with hundreds or thousands of dimensions) that do not o...

Posted by Roach on May 16, 2016

Hi, SVM

wanna be A byte of SVM

SVM也就是支持向量机！希望写下这个post可以加深自己的理解，因为只是看书或者看别人的博客理解并不深刻。 Support Vector Machine(SVM)，是一个分类算法（也有用来作回归的）。那么对于一个二分类的问题，SVM就是要寻找到一个最优超平面将两类的样本分的最开。首先，两类（正类和负类）线性可分的情况下，SVM直观上和感知机是类似的，都是找到一个超平面将两类...

Posted by Roach on March 27, 2016

Linear Algebra!

线性代数学习的感受～

只用自己国家所谓的教授编著的教材，而不是放开胸怀用已经公开是非常好的教材国家，教育是很难上去的。不知那些教材编著者读书的时候是用的什么教材，有没有为遇到一本好书而乐，然后对学校安排教材而懊恼。然后自己又去埋葬下一代。以前就想不明白，为什么教材不是那些翻译的国外非常好的教材。有一天突然明悟，那些人不是中国人。教材都用外国人的，是不是说不过去。但是，你不用就永远超越不了QA...

Posted by Roach on December 20, 2015

漫画统计学

have a rest!

欧姆社科普系列——第18卷，《漫画统计学》第一章 population: 总体第二章掌握数据整体的状态（数值数据篇） class midpoint: 组中值 frequency：次数，每组数据个数 relative frequency：相对次数，{每组数据个数}/{数据总数} frequency distribute table：次数分布图 histogram：...

Posted by Roach on December 11, 2015