线性判别分析（LDA）

• 前提假设：各类样本的协方差矩阵相同且满秩
• LDA的思想：1.设法让训练样例集投影到一条直线上，2.同类样例的投影点尽可能接近，异类样例的投影点尽可能远离，3.在对新样本进行分类时，将其投影到同样的这条直线上，再根据投影点的位置来确定新的样本类别。
• 下图是LDA的二维示意图
• 
•  以下是LDA的数学推理：
• 规定数学含义：
• 
•  

则（3.32）可重写为

•  
• 确定w:令 wTSwW = 1,则式（3.35）等价于
•