机器学习的本质是什么？从历史发展脉络到核心概念解析，理解学习范式、模型评估、偏差-方差权衡等基础理论，建立完整的机器学习认知框架。
ML 基础
ML 基础
文章列表
- 1
- 2从最小二乘法到梯度下降，深入理解线性回归的数学推导、正则化技巧（L1/L2）、特征选择，以及如何处理多元回归和非线性关系。
- 3分类算法的基石。详解Sigmoid函数、交叉熵损失、多分类Softmax，以及如何处理类别不平衡、评估分类性能（Precision/Recall/F1/ROC-AUC）。
- 4从ID3/C4.5到CART，理解信息增益、基尼系数等分裂准则。深入剖析Bagging、随机森林、AdaBoost、Gradient Boosting、XGBoost等集成算法原理与调优。
- 5SVM的数学之美：最大间隔分类器、对偶问题、KKT条件。核技巧如何处理非线性可分问题？RBF、多项式核的选择与调优，以及SVM在回归中的应用。
- 6K-Means的局限性与改进：K-Means++初始化、Mini-Batch K-Means。层次聚类、DBSCAN密度聚类、GMM混合高斯模型，以及如何评估聚类质量（轮廓系数、Calinski-Harabasz）。
- 7维度灾难问题解析。主成分分析PCA的数学推导、t-SNE、UMAP等非线性降维方法，以及如何可视化高维数据、提取特征、加速模型训练。
- 8贝叶斯定理在机器学习中的应用。朴素贝叶斯分类器、贝叶斯网络、马尔可夫随机场MRF、变分推断、MCMC采样，以及如何处理不确定性。
- 9训练集、验证集、测试集的科学划分。K折交叉验证、分层采样、时间序列交叉验证、嵌套交叉验证。超参数调优：网格搜索、随机搜索、贝叶斯优化。
- 10线性代数：矩阵运算、特征值分解、SVD。概率统计：分布、期望、方差、最大似然估计。微积分：梯度、偏导数、链式法则。为深度学习打下坚实数学基础。