量化原理：INT8/INT4量化、量化感知训练。GEMM低比特优化、量化误差累积。Post-Training Quantization (PTQ)、Quantization-Aware Training (QAT)。在边缘设备、移动端部署中的应用。
模型优化
模型优化
文章列表
- 61
- 62结构化剪枝vs非结构化剪枝。L1/L2正则化剪枝、Gradual Pruning。Lottery Ticket Hypothesis、Network Pruning。动态剪枝、稀疏训练，以及在模型加速中的应用。
- 63师生模型架构。Logits蒸馏、Feature蒸馏、关系蒸馏。自蒸馏、互蒸馏、在线蒸馏。DistilBERT、TinyBERT实践，以及在模型压缩中的应用。
- 64AutoML在架构设计中的应用。强化学习NAS（ENAS、DPP-Net）、可微分NAS（DARTS、PDARTS）、One-Shot NAS。硬件感知NAS，以及在移动端模型设计中的应用。
- 65ONNX、TensorRT、TFLite推理引擎。图优化、算子融合、内存优化。TensorRT、ONNX Runtime实践。批处理、动态批处理，以及在低延迟服务中的应用。
- 66高并发推理服务设计。Kubernetes、Docker容器化。gRPC、RESTful API。负载均衡、自动扩缩容。TF Serving、TorchServe、Triton Inference Server实践。
- 67数据并行、模型并行、流水线并行。PyTorch DDP、DeepSpeed、FairScale。ZeRO优化器、混合精度、梯度累积。在千卡、万卡规模训练中的实践。
- 68边缘设备计算能力分析。模型压缩、优化流程。Core ML、ML Kit、TensorFlow Lite。端侧推理、增量更新，以及在手机、IoT设备中的实践。
- 69生产环境模型监控。数据漂移、概念漂移检测。性能监控、预测监控。模型Explainability、可解释性工具，以及在AIOps中的实践。
- 70AutoML全流程：数据预处理、特征工程、模型选择、超参数优化。AutoSklearn、AutoGluon、H2O.ai。神经架构搜索NAS，以及在低门槛AI建模中的应用。