Profiling 分析指南

发表于2025-11-02|更新于2026-06-10|LLM

|浏览量:

Profiling 分析指南

Ascend NPU + MindStudio Insight

关键文件：

trace_view.json
kernel_details.csv
op_stastic.csv

kernel_details.csv 分析指南：

冻结首行，start time 排序，只看一个 layer 的数据。
数量比较多的 stream id 就是“主流”，其它的是通信流、共享专家流（实现计算通信并行）。
静态/动态算子。
Duration（优化目标）：尽量让算子达到计算 bound，减少访存 bound -> 判断优化方向。
判断性能瓶颈：每个算子的时间除以整个 layer 的时间，再转换为百分比的形式 -> 判断优化重点。

trace_view.json 分析指南：

一般不用关注 CANN 这一层。
算子的实际执行时间主要看 Ascend Hardware 这一层。
AI Core Freq：当芯片温度比较高时，可能会出现降频，导致计算性能下降。

CV 并行：
cube 和 vector 是相互独立的计算单元，可以放到两条流上并行计算（但是会争访存带宽）。

bubble 分析：
观察设备 free 时间，算子执行之间有间隔，通过前后两个算子（连线）对应的 host 操作夹一下，找到 bubble 产生的位置（仅限不开图模式时）。

如何消除 bubble：
1.分析逻辑是否必要，消除、移到其它地方；
2.先下发高计算强度的算子，再下发低计算强度的算子（前提：前后之间没有依赖，可以调整顺序）；
3.邦核；
4.入图；

分析通信带宽是否合理：
通信算子的 count * 字节数 / latency = 理论通信带宽。

开启图模式之后的现象：
1.设备 free 总时长明显缩短；
2.设备主流上算子之间的间隔明显缩短，计算更密集。

怎么判断一个算子已经达到了计算 bound？
1.看 cube/vector/ai-core 利用率要达到 70-90%（prefill）；
2.找算子同学确认（计算公式很复杂）、利用分析工具。

文章作者: xhj

文章链接: https://hzhzxfs.github.io/2025/11/02/Profiling%20%E5%88%86%E6%9E%90%E6%8C%87%E5%8D%97/

版权声明: 本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 xhj的博客！

相关推荐

vLLM 算力多样性｜Platform 插件与 CustomOp

vLLM 算力多样性｜Platform 插件与 CustomOp一、引言随着 vLLM 逐渐成为生产级场景下大模型推理的通用解决方案之一，期望 vLLM 支持各式各样算力底座的需求日趋强烈。目前，在 vLLM 的官方仓库中维护着 NVIDIA GPU、AMD GPU 以及 Google TPU 等多家芯片厂商的代码，但除此之外，还有更多的 AI 芯片是通过“硬件插件化机制”来支持自家算力的。所有不在 vLLM 官方仓库中支持的硬件，都被统称为 OOT（Out Of Tree）Device，包括：官方插件（指存在于 vllm-project 官方项目下的插件）：vllm-ascend（华为昇腾 NPU）、vllm-spyre、vllm-gaudi（Intel Gaudi）、vllm-neuron（AWS Neuron）、vllm-metal（Apple Silicon）等；非官方插件：vLLM-metax（沐曦 GPU）、vLLM-Kunlun（百度昆仑芯 XPU）等。本文将深入介绍 vLLM 硬件插件化系统的原理，以及如何通过 CustomOp 完成自定义算子的注册与...

一、引言vLLM V1 是 vLLM 团队基于 V0 的实践经验并参考工业界其它相关工作提出的最新架构，从 vLLM 0.8.x 版本开始，V1 Engine 将作为 vLLM 启动时的默认选项。相比于 V0，vLLM V1 具有以下优势：可读性：代码更加简洁易懂、更加模块化；高性能：提供更好的推理性能，使用双进程异步处理不同的 CPU 操作，极大地降低了推理的时延和开销；易扩展：可以轻松集成多样化的特性；易用性：简化了配置，会默认开启一些特性，以提供更好的性能和体验。下面，本文将揭秘 vLLM V1 从接收请求到算子执行的推理全流程（附超长流程图，画图不易，欢迎点赞 & 收藏~）。二、整体概览在深入具体细节之前，让我们先从整体上认识下 V1 Engine 的推理流程。下面是 vLLM 官方博客中提供的 V1 Engine 在线推理架构图。在 V1 中，vLLM 将不同类型的 CPU 密集型操作拆分到了两个相互独立的进程中，以便能够异步执行不同的 CPU 操作，减少了不同步骤之间相互等待的时间，因此能够更好地压榨硬件的计算性能。 Process 0...

推理引擎推理系统与推理引擎训练和推理服务推理和训练的区别：模型部署后，长期运行；不需要反向传播；部署设备更加多样。推理服务系统的功能（与 AI 算法关系不大，更多地是平台性的工作）：模型加载；版本管理；数据管理；服务接口。优化目标低延迟；高吞吐：高负载；高效率：低功耗使用 CPU/GPU；灵活性：支持多框架；扩展性。部署态场景：数据中心的服务端、边缘侧的移动端。云端；边侧：严格约束功耗、算力不足、数据分散、平台多样化。推理系统架构推理服务化、推理服务框架。基本概念：推理：前向计算；部署：将模型部署到硬件上，包括：移植、压缩、加速等；服务化：将模型封装为 sdk 或 web 服务。 Triton 服务化框架：接入层：HTTP、gRPC、CAPI；模型仓库；模型预编排：解析 URL 请求；框架后端：指推理引擎（如 TensorRT、ONNX Runtime、MindSpore Lite 等）；监控功能：健康管理。模型版本管理模型生命周期管理：金丝雀策略（Canary）；回滚策略（Rollba...

vLLM 多模态推理｜ViT 性能优化

vLLM 多模态推理｜ViT 性能优化一、引言在多模态处理的 Pipeline 中，ViT（Vision Transformer）和 DiT（Diffusion Transformer）是最常见的处理模块。其中，ViT 在多模态模型中的角色类似于自然语言建模中的 Tokenizer 组件，负责对图像进行视觉特征编码，产出图像的特征序列，只不过 ViT 的编码过程本身也采用了 Transformer 模型结构。目前，以 vLLM 和 SGLang 为首的开源推理框架针对纯语言模型的特性和优化已愈发完善，而随着多模态模型的快速发展，涌现出了诸如 VL、Omni、TTS 以及 Diffusion 等各式各样的多模态模型，这些开源推理框架针对多模态理解和生成的推理技术还有待完善。本文将以 vLLM 为例，分享我在工作中学习并积累到的一些针对 ViT 模块的性能优化手段。二、多模态推理概述2.1 多模态模型的分类目前，根据模型输入和输出所支持的模态，多模态模型可以分为：多模态理解模型：输入为“文本/图像/视频/音频”，输出为“文本”，模型的任务是理解...

线性代数基本概念

线性代数基本概念特征值和特征向量值域空间零空间行空间与列空间正交补基标准正交基奇异值分解 Matrix Norm (矩阵范数) Frobenius Norm (弗罗贝尼乌斯范数) 奇异值分解在统计中的主要应用为主成分分析（PCA）。数据集的特征值（在 SVD 中用奇异值表征）按照重要性排列，降维的过程就是舍弃不重要的特征向量的过程，而剩下的特征向量张成空间为降维后的空间。

vLLM 学习笔记｜Guided Decoding (V1)

vLLM 学习笔记｜Guided Decoding (V1)一、引言Guided Decoding，又叫 Structured Output，是大模型推理领域中非常重要的一个特性，主要用于引导大模型输出符合某种特定格式（如：SQL、Json）的结果，以便更好地将大模型落地到具体的应用场景中。在我的上一篇文章中，简要地介绍了 Guided Decoding 的原理，并详细分析了 vLLM 中相关代码的实现（V0），文章链接如下：link。自从 vLLM v0.8.x 之后，V1 Engine 将作为 vLLM 启动时的默认选项。关于 V1 Engine 的系统设计以及具体的优化点，我将会在之后逐步梳理并分享出来（如果有空的话）。而在本文中，我将针对 V1 Engine，分享 Structured Output 模块的整体设计与具体实现。二、V1 Engine 整体架构在介绍 Structured Output 模块的设计之前，让我们先来看下 vLLM V1 Engine 的整体架构。在 V1 中，vLLM 将不同类型的 CPU 密集型操作拆分到了两个相互独立的进程中，以便能够...