线性代数拾遗(一 ):线性方程组、向量方程和矩阵方程
前言
线性代数在各大理工科,乃至经济金融领域的使用之广泛,毋庸置疑。 一直以来,我虽也知道线性代数的重要,但从内心上其实一直是犯怵的(尤其是学习论文、算法中,基本只要看到对方把算法向量化之后就蒙圈了),当年在学校学习过程中很多也是靠着死记硬背过来的,对它的直观意义一直都没能有很好的理解。
最近,这么一本书进入了我的视线:《线性代数及其应用》,听书名感觉平平,但只翻了几页就感觉十分过瘾,仿佛打通了任督二脉。以往很多死记硬背的知识点在这本书的解释下,变成了可以直观推导出来的结果。这本书不仅对线性代数的基本概念阐述地很直观形象,而且还有许多现实生活中的应用,特别是经济、物理、计算机领域,真正让人领略到线性代数作为现代数学的魅力。
我特将自己的读书总结和体会记录于此,也是希望借此加深自己的理解。
注意,这个系列假设你已经有了线性代数基础,像是行变换、将矩阵转换为行阶梯形式这种基本技巧已经掌握。本文不再赘述具体操作步骤,主要关注于概念的直观理解。
Ein 和 Eout,假设模型以及开放思维
加州理工的机器学习公开课上,穆斯塔法教授对机器学习的讲解非常细致,每个公式、每个符号都会进行详细的剖析,并直观地解释出来,他对机器学习的热情和态度很值得我们学习。
而这门课程在讲解学习的可行性时,多次提到了$E{in}$和$E{out}$的概念。 $E{in}$和$E{out}$分别表示模型假设对样本(已知)的错误率和对真实情况(未知)的错误率。统计机器学习之所以可行,就是因为有这样一个理论支撑:
上面的式子叫 Hoeffding 不等式。从公式中可以看出,当N足够大时,$E{in}$和$E{out}$相差太大的概率就比较小。换句话说,当N足够大时,$E{in}$就会更接近于$E{out}$。如此,我们机器学习提出的模型假设如果对大量已知样本能够较好地拟合的话,那它对真实的未知样本应该也能够较好地拟合。
上面的 (*) 式只适用于一次随机试验,一次试验只建立一个模型假设,而我们实际训练时是要提出若干个假设,再从这些假设中选择最符合目标函数的那个假设。也就是:
式子中的 M 就是我们提出的假设数目。
Gabor 特征总结
Gabor 特征是一种可以用来描述图像纹理信息的特征,Gabor 滤波器的频率和方向与人类的视觉系统类似,特别适合于纹理表示与判别。
Gabor 特征主要依靠 Gabor 核在频率域上对信号进行加窗,从而能描述信号的局部频率信息。
说到 Gabor 核,不能不提到傅里叶变换。正是靠傅里叶变换,我们才能将信号转换到频率域,才能让Gabor核在频率域去加窗。而在原本的空间域中,一个 Gabor 核实际上就是一个高斯核与正弦波调制的结果,可以看做是高斯核应用在了正弦波的频域部分。
上面说的还是比较笼统,下面我们一步一步介绍Gabor核是怎么对信号「加窗」的。
我对卷积的理解
在学习机器学习和图像处理的过程中,经常会遇到卷积这个概念。我每次遇到这个概念都有点似懂非懂的样子。有时候清楚它的直观解释,但又搞不清公式中是如何体现的。究其原因,还是我没有完全搞懂这个概念。 维基百科上有一个动态图来演示这个概念,但对于我来说还是有些复杂。于是自己在网上找了很多文章来研究,终于有了比较直观的印象,这里就趁热把我理解的解释一下,作为总结。
一、一维卷积
1.1 数学定义
维基百科上,卷积的形式化定义如下:
1.2 直观解释
先来分析一下这个公式:
- $f(x)*g(x)$ 表示 $f(x)$ 和 $g(x)$ 的卷积,注意此处自变量为 $x$;
- 它是对 $(-\infty, \infty)$ 区间上对 $\tau$ 求积分;
- 积分对象为两个函数的乘积:$f(\tau)$ 和 $g(x-\tau)$。
- 等式右边只有 $g(x-\tau)$ 提到了 $x$,其他部分都在关注 $\tau$
这样一个公式恐怕还是难以理解,接下来将通过一个例子来进行解释。
复数的几种表示形式
研究傅里叶变换的过程中经常要和复数打交道,经常会遇到 $e^{ix}$ 这种形式。
这里就总结一下复数的直角坐标、极坐标,以及复指数表示形式,也有对欧拉公式的直观解释,以便更好地理解傅里叶变换。
本文中图片均来自于 国立台湾师范大学资讯工程学系的演算法笔记。
Logistic 回归
最近项目需要,用到了 Logistic 回归(Logistic Regression),因此又跟着 Andrew Ng 的机器学习课程复习了一遍相关知识,整理如下:
一、问题的引入
使用线性回归方法是可以引申来处理分类问题的,一般是用回归得到假设值 $h\theta (x)$ 来决定类别归属。例如:$h\theta (x) < 0.5$ 时,y = 0;$h_\theta (x) > 0.5$ 时,y = 1。
然而,线性回归得到的假设值 $h_\theta (x)$ 有可能 >1 或是 <0,而且有可能会超出很多,这种情况下使用线性回归似乎不是很好的选择。
为了解决这个问题,我们引入 Logistic 回归方法,将 $h_\theta (x)$ 限制在 (0,1) 范围内。
注意,Logistic 回归是一种分类方法,而不是回归方法,名字中的「回归」是历史原因造成的。