Ascend NPU 硬件架构入门
Ascend NPU 硬件架构入门一、概述昇腾 NPU 是专门用于 AI 训练/推理计算的 AI 专用处理器,其中的 AI Core 能够在很大程度上提高 AI 计算的效率。 本文将主要介绍 ASCEND NPU 的硬件架构 & 工作原理、AI Core 的计算模式以及异构计算平台 CANN 等内容。 二、NPU 硬件架构2.1 NPU SOC 架构2.1.1 Ascend 310 架构 AI Core:计算核心,负责执行矩阵、向量、标量计算密集的算子任务,采用达芬奇架构; AI CPU:承担非矩阵类复杂计算,即负责执行不适合跑在 AI Core 上的算子; TS Core:作为任务调度器(Task Scheduler,TS),以实现计算任务在 AI Core 上的高效分配和调度(专门服务于 AI Core 和 AI CPU,不承担任何其它的工作); ARM CPU:控制芯片整体运行; DVPP:数字视觉预处理子系统,完成图像视频编解码; Cache & Buffer。 2.1.2 Ascend 910 架构 AI Core:32 个,上下各 16 ...
AI训练&推理常用依赖库
AI 训练 & 推理常用依赖库PyTorchtorch…… torchaudiotorchaudio 是 PyTorch 官方用于处理音频数据和进行音频相关深度学习任务的工具包,提供了音频数据的加载和保存、频谱分析、预训练的音频模型(支持音频分类、语音识别等任务)、与 PyTorch 的数据集和数据加载器集成等功能。 torchaudio.load() 是 torchaudio 库中的一个函数,用于加载音频文件并返回音频数据及其采样率。它可以方便地将音频文件加载到 PyTorch 的张量中,以便进行后续的音频处理和深度学习任务。 具体功能包括: 读取音频文件:支持多种音频格式(如 WAV、MP3 等); 返回数据和采样率:返回两个值:音频信号的张量表示(通常是浮点数)和音频的采样率(Hz),方便后续处理和分析。 torchaudio.functional.resample(y, orig_freq=xxx, new_freq=xxx) 是用于对音频信号进行重采样的函数。该函数适用于需要调整音频采样率的场景,如匹配不同音频源的采样频率或准备音频数据以供模型训练。 具体功...
tool-use__code_samples__04-dotnet-agent-framework
🛠️ GitHub 模型 (.NET) 的高级工具使用📋 学习目标本笔记本演示了使用 .NET 中的 Microsoft Agent Framework 与 GitHub 模型的企业级工具集成模式。您将学习利用 C# 的强类型和 .NET 的企业功能,使用多种专用工具构建复杂的代理。 您将掌握的高级工具功能 🔧 多工具架构:构建具有多种专业功能的代理 🎯 类型安全工具执行:利用 C# 的编译时验证 📊 企业工具模式:生产就绪的工具设计和错误处理 🔗 工具组合:组合复杂业务工作流程的工具 🎯 .NET 工具架构的优点企业工具功能 编译时验证:强类型确保工具参数的正确性 依赖注入:用于工具管理的 IoC 容器集成 异步/等待模式:通过适当的资源管理实现非阻塞工具执行 结构化日志记录:用于工具执行监控的内置日志记录集成 生产就绪模式 异常处理:使用类型化异常进行全面的错误管理 资源管理:正确的处置模式和内存管理 性能监控:内置指标和性能计数器 配置管理:带有验证的类型安全配置 🔧 技术架构核心 .NET 工具组件 Microsoft.Extensions...
planning-design__code_samples__07-dotnet-agent-framework
🎯 使用 GitHub 模型 (.NET) 进行规划和设计模式📋 学习目标本笔记本演示了使用 .NET 中的 Microsoft Agent Framework 和 GitHub 模型构建智能代理的企业级规划和设计模式。您将学习创建可以分解复杂问题、规划多步骤解决方案以及使用 .NET 企业功能执行复杂工作流程的代理。 ⚙️ 先决条件和设置开发环境: .NET 9.0 SDK 或更高版本 Visual Studio 2022 或带有 C# 扩展的 VS Code GitHub 模型 API 访问 所需的依赖项: 123<PackageReference Include="Microsoft.Extensions.AI" Version="9.9.0" /><PackageReference Include="Microsoft.Extensions.AI.OpenAI" Version="9.9.0-preview.1.25458.4" /><PackageRef...
multi-agent__code_samples__workflows-agent-framework__dotNET__04.dotnet-agent-framework-workflow-aifoundry-condition
🔀 使用 Azure AI Foundry (.NET) 的条件代理工作流程📋 基于智能决策的工作流程教程本笔记本演示了使用 Azure AI Foundry 和 Microsoft Agent Framework for .NET 的条件工作流模式。您将学习如何构建复杂的、决策驱动的工作流程,根据人工智能分析、业务规则和企业级自动化的动态条件智能地路由处理。 🎯 学习目标🧠 智能决策架构 条件逻辑实现:构建具有多个分支点的复杂决策树 AI 支持的路由:使用 Azure AI Foundry 模型做出智能路由决策 动态工作流程适应:根据运行时分析和条件修改工作流程行为 企业规则集成:将业务逻辑和合规性要求纳入工作流程中 🔀 高级条件模式 多标准决策:评估路由决策的多个因素 上下文感知处理:根据累积的工作流上下文和历史记录做出决策 自适应工作流程修改:根据实时情况动态调整处理路径 规则引擎集成:在工作流程中实施复杂的业务规则引擎 🏢 企业有条件申请 文档分类和路由:自动分类文档并将其路由到适当的工作流程 客户服务分类:将客户询问智能路由至专业处理团队 合规与风险处理...
multi-agent__code_samples__workflows-agent-framework__dotNET__03.dotnet-agent-framework-workflow-ghmodel-concurrent
⚡ 使用 GitHub 模型的并发代理工作流程 (.NET)📋 高性能并行处理教程本笔记本演示了使用 Microsoft Agent Framework for .NET 和 GitHub 模型的并发工作流模式。您将学习如何构建高性能、并行处理工作流程,通过同时执行多个 AI 代理来最大限度地提高吞吐量,同时保持协调和数据一致性。 🎯 学习目标🚀 并发处理基础知识 并行代理执行:同时运行多个 AI 代理以获得最佳性能 异步/等待模式:利用.NET的异步编程模型实现高效并发 GitHub 模型集成:协调对 GitHub 的 AI 模型推理服务的多个并发调用 资源管理:跨并发操作高效管理 AI 模型资源 🏗️ 高级并发架构 基于任务的并行:使用 .NET 任务并行库实现最佳并发执行 同步模式:协调并发代理,同时避免竞争条件 负载平衡:在可用的并发处理能力之间有效地分配工作 容错:处理单个代理故障而不停止整个工作流程 🏢 企业并发应用 大容量文档处理:同时处理多个文档 实时内容分析:传入数据流的并发分析 批处理优化:最大化大规模数据处理操作的吞吐量 多模态分析:...
multi-agent__code_samples__workflows-agent-framework__dotNET__02.dotnet-agent-framework-workflow-ghmodel-sequential
⏩ 使用 GitHub 模型 (.NET) 的顺序代理工作流程📋 高级顺序处理教程本笔记本演示了使用 Microsoft Agent Framework for .NET 和 GitHub 模型的顺序工作流模式。您将学习如何构建复杂的分步处理管道,其中代理按特定顺序执行,每个阶段都基于前一阶段的结果。 🎯 学习目标🔄 顺序处理架构 线性工作流程设计:创建具有明确依赖性的分步处理管道 状态管理:维护跨连续工作流程阶段的上下文和数据流 GitHub 模型集成:在多阶段 .NET 工作流程中利用 GitHub 的 AI 模型 企业管道模式:构建生产就绪的顺序处理系统 🏗️ 高级序列模式 阶段控制处理:在工作流程阶段之间实施验证检查点 上下文保存:在所有阶段维护状态和积累的知识 错误传播:在顺序处理链中优雅地处理故障 性能优化:以最小的开销实现高效的顺序执行 🏢 企业顺序应用程序 文档处理管道:多阶段文档分析、转换和验证 质量保证工作流程:顺序审查、验证和批准流程 内容制作流程:研究→写作→编辑→评论→出版 业务流程自动化:具有明确阶段依赖性的多步骤业务工作流程 ⚙️ 先...
multi-agent__code_samples__workflows-agent-framework__dotNET__01.dotnet-agent-framework-workflow-ghmodel-basic
🔄 使用 GitHub 模型 (.NET) 的基本代理工作流程📋 工作流程编排教程本笔记本演示了如何使用 Microsoft Agent Framework for .NET 和 GitHub 模型构建复杂的代理工作流程。您将学习创建多步骤业务流程,其中 AI 代理通过结构化编排模式协作完成复杂的任务。 🎯 学习目标🏗️ 工作流程架构基础知识 工作流程构建器:设计和编排复杂的多步骤人工智能流程 代理协调:协调工作流程中的多个专业代理 GitHub 模型集成:在工作流程中利用 GitHub 的 AI 模型推理服务 可视化工作流程设计:创建和可视化工作流程结构以更好地理解 🔄 流程编排模式 顺序处理:按逻辑顺序链接多个代理任务 状态管理:维护跨工作流程阶段的上下文和数据流 错误处理:实施强大的错误恢复和工作流程弹性 性能优化:为企业规模运营设计高效的工作流程 🏢 企业工作流程应用程序 业务流程自动化:自动化复杂的组织工作流程 内容制作管道:具有审核和批准阶段的编辑工作流程 客户服务自动化:多步骤解决客户询问 数据处理工作流程:具有 AI 支持的转换的 ETL 工作流程...
multi-agent__code_samples__08-dotnet-agent-framework
🤝 企业多代理工作流系统 (.NET)📋 学习目标本笔记本演示了如何使用 .NET 中的 Microsoft Agent Framework 和 GitHub 模型构建复杂的企业级多代理系统。您将学习如何通过结构化工作流程协调多个专业代理一起工作,利用 .NET 的企业功能来实现生产就绪的解决方案。 您将构建的企业多代理功能: 👥 代理协作:具有编译时验证的类型安全代理协调 🔄 工作流编排:使用 .NET 异步模式的声明式工作流定义 🎭 角色专业化:强类型的座席个性和专业领域 🏢 企业集成:具有监控和错误处理功能的生产就绪模式 ⚙️ 先决条件和设置开发环境: .NET 9.0 SDK 或更高版本 Visual Studio 2022 或带有 C# 扩展的 VS Code Azure 订阅(用于持久代理) 所需的 NuGet 包: 1234567<PackageReference Include="Microsoft.Extensions.AI.Abstractions" Version="9.9.0" />&...
intro-to-ai-agents__code_samples__01-dotnet-agent-framework
🌍 带有 Microsoft Agent Framework (.NET) 的 AI 旅行代理📋 场景概述此示例演示如何使用 Microsoft Agent Framework for .NET 构建智能旅行规划代理。该代理可以自动生成世界各地随机目的地的个性化一日游行程。 关键功能: 🎲 随机目的地选择:使用自定义工具选择度假地点 🗺️ 智能旅行规划:创建详细的每日行程 🔄 实时流式传输:支持即时响应和流式响应 🛠️ 自定义工具集成:演示如何扩展代理功能 🔧 技术架构核心技术 Microsoft Agent Framework:用于 AI 代理开发的最新 .NET 实现 GitHub 模型集成:使用 GitHub 的 AI 模型推理服务 OpenAI API 兼容性:利用具有自定义端点的 OpenAI 客户端库 安全配置:基于环境的API密钥管理 关键组件 AIAgent:处理会话流的主要代理协调器 自定义工具:代理可用的 GetRandomDestination() 函数 聊天客户端:GitHub 模型支持的对话界面 Streaming Support:实时...