矩阵与范数、谱半径、奇异值
矩阵论主要研究的是线性空间以及在线性空间中的一些操作，主要是线性变换。当然书中主要是针对有限维的情况来讨论的，这样的话就可以用向量和矩阵来表示线性 空间和线性变换，同其他的数学形式一样，矩阵是一种表达形式（notation），而这一方面可以简洁地表达出我们平时遇到的如线性方程和协方差关系的协 方差矩阵等，另一方面又给进一步的研究或者问题的简化提供了一个平台。如特征值分析、稳定性分析就对应着诸如统计分布和系统稳定性等实际问题。而一系列的 分解则可以方便方程的数值计算。作为矩阵论的学习，我们需要了解具体的一些计算究竟是怎么算的，但更关键的是要知道各个概念和方法的实际意义，各个概念之 间的关系。
首先介绍的是线性空间，对于线 性空间中的任意一个向量的表示有基（相当于度量单位）和坐标（相当于具体的尺度），基既然作为度量标准了，当然要求对每一个向量都适用，同时这个标准本身 也应该尽可能的简洁，那么就得到了基定义的两点约束：１、基的组成向量线性无关；２、线性空间中的任一个向量都可以由基的线性表示。
基作为一种“计量标准”，当然可能会存在多种形式，只要满足上面的两点条件，因而就有必要解决不同的度量标准之间的转换关系，从而得到过渡矩阵的概念，同时可以使用这种转换关系（过渡矩阵）去完成度量量（坐标）之间的转换。
在完成了线性空间这一对象的认 识和表达之后，下面需要研究对象和对象之间的关系。这里主要是线性变换，线性变换针对于实际对象主要完成类似于旋转和尺度变换方面的操作，而这种操作也牵 涉到表达的问题。为了保持与空间的一致性，我们也同样是在特定的基下来表示，从而线性变换就具体化为一个变换矩阵，并且，在不同的基下对应的变换矩阵当然 也不相同，这里的不同的变换矩阵的关系就是相似的概念。
到此，我们完成了空间中向量的表示和线性变换的矩阵表达。这里涉及了基、坐标、过渡矩阵、变换矩阵、相似矩阵这几个重要的概念。上面算是内涵上的认识，下面我们需要知道线性空间里究竟有些什么东西，它是如何组成的，各个组成成分之间的关系，也就是空间的结构性方面的东西。
首先认识子空间（空间的组成部分），当然既然也是空间，也就要满足空 间的加法和数乘的封闭性，要满足那八条定律。后者可以由父空间保证，前面的就要子空间自身素质了。同时要看子空间之间的并、交、直和运算和相应的秩的关 系。这里提到了维数，就要多说几句了，空间中的元素往往是连续过渡的，但是对于有限空间而言还有离散的性质，那就是维数，我称其为“不伸则已，一伸则增 一”，从这也就说明了为什么可以用若干个子空间的直和可以等价于原线性空
间。
子空 间的形式很多，有生成子空间、值域空间、零空间（木木先生注：此处指核空间）和特征子空间等等，我们重点看看特征子空间。一个空间可以划分为若干个特征子 空间的直和形式，而每个特征子空间的共同特征就是具有相同的特征值，范围就是对应着这个特征值的若干特征向量的生成子空间。
为什么要这样划分？因为我们在平时的研究中，整个线性空间太大了，我 们需要缩小研究范围，某一个或几个特征子空间就够了。或者是模式分类时，每一个样本点就属于某个子空间，我们首先需要知道有哪些类，类的特点是什么，这就 是特征子空间。当然对于协方差矩阵而言，特征值还具有能量属性，在清楚各个特征子空间的位置后，我们可以通过某些变换改变这些子空间的空间分布。在系统研 究中，还可以在清楚特征子空间分布后成功地实现系统或方程的解耦。呵呵，可能其用途很多很多，但关键的一点就是，我们必须认识空间的结构，在此基础上再结 合对应的物理空间或几何空间的实际意义进行进一步的处理。
人心苦不足，在知道了上面的东 西之后，大家在想，可视的二维平面和三维立体空间中，为了研究向量的长度及向量和向量之间的角度，提出了内积的概念，在线性空间中，人们也对内积的概念作 了延拓，于是将原先的线性空间添油加醋改装成了内积空间（分为实数的欧式空间和复内积空间），这里的油醋就是以下的四点：1、交换律；2、分配律；3、齐 次性；4、非负性。向量自身的内积开二次根得到长度，两个向量内积除以两个向量的长度得到角度的余弦。所有这些都是与可视空间中的性质是一致的（可以参阅 《由相容性想到的》）。这里要注意的是，它只给出了内积的约束，但在具体的向量空间中内积的计算形式却没有硬性规定，要想量化内积，很自然地就是要知道， 量化的标准是什么，这就引出了度量矩阵（结合具体的内积计算式，计算得到的基的内积构成的矩阵）的概念。考虑到内积的非负性和交换律，度量矩阵必须是对称 正定矩阵。这里也和前面一样，度量矩阵是在一定基下定义的，当基变化了，度量矩阵也会发生改变，相同的内积定义式在不同的基下得到的度量矩阵是合同的，呵 呵，又多了一个概念。而且，对称变换、正交性也在内积这找到了家。
老是待在线性代数的视野范围内，终归有些不爽，下面就正式进入了分析的领域，既然是矩阵分析，首先就是什么是矩阵函数，该如何定义，当然书中是先从矩阵级数出发的，既然是级数，就会牵涉到部分和的收敛问题，收敛就是极限问题，如何定义矩阵的极限？
最原始的就是按坐标收敛，不过 那么多的元素要收敛，太累了！怎么办呢？其实这从本质上来说是多元衡量尺度一元化的问题，于是就找出了范数的概念，用一个范数来代替多个元素的收敛问题的 讨论。不同矩阵范数的等价性保证了函数极限的一致性。在某种程度上范数成了距离的代名词，但要注意的是范数的概念要比距离强得多（主要是增加了绝对齐次 性），我们会用范数去表示不
同样本之间的距离，用范数去表示误差程度，用范数去衡量许许多多的表示某种程度的量。
其实总结到此本来可以宣告结束，但是随着计算技术的发展，诸如线性方程组求解、矩阵求逆等问题都需要一些补充内容：
1、矩阵分解（简化方程求解）
2、广义逆（病态矩阵和一般矩阵的求逆问题）不过其最小二乘性质还真好使。
3、特征值估计（求高阶的多项式方程可是要命的事，大概知道特征值和特征空间的位置对于一定的应用场合就可以了）
这就是我暂时对矩阵论的理解，呵呵，相对于一年前对线性代数的理解要深刻得多了，在以后的研究实践中会进一步丰富的。
什么是范数矩阵论及矩阵计算
在介绍主题之前，先来谈一个非常重要的数学思维方法：几何方法。在大 学之前，我们学习过一次函数、二次函数、三角函数、指数函数、对数函数等，方程则是求函数的零点；到了大学，我们学微积分、复变函数、实变函数、泛函等。 我们一直都在学习和研究各种函数及其性质，函数是数学一条重要线索，另一条重要线索——几何，在函数的研究中发挥着不可替代的作用，几何是函数形象表达， 函数是几何抽象描述，几何研究“形”，函数研究“数”，它们交织在一起推动数学向更深更抽象的方向发展。
函数图象联系了函数和几何，表达两个数之间的变化关系，映射推广了函 数的概念，使得自变量不再仅仅局限于一个数，也不再局限于一维，任何事物都可以拿来作映射，维数可以是任意维，传统的函数图象已无法直观地表达高维对象之 间的映射关系，这就要求我们在观念中，把三维的几何空间推广到抽象的n维空间。
由于映射的对象可以是任何事物，为了便于研究映射的性质以及数学表 达，我们首先需要对映射的对象进行“量化”，取定一组“基”，确定事物在这组基下的坐标，事物同构于我们所熟悉的抽象几何空间中的点，事物的映射可以理解 为从一个空间中的点到另一个空间的点的映射，而映射本身也是事物，自然也可以