Qwen2-VL精度问题

发表于2025-08-03|更新于2026-06-10|LLM

|浏览量:

Qwen2-VL 精度问题

------------------------------ Captured log call -------------------------------
WARNING  transformers.models.auto.image_processing_auto:logging.py:328 The image processor of type `Qwen2VLImageProcessor` is now loaded as a fast processor by default, even if the model checkpoint was saved with a slow processor. This is a breaking change and may produce slightly different outputs. To continue using the slow processor, instantiate this class with `use_fast=False`. Note that this behavior will be extended to all models in a future release.

=========================== short test summary info ============================
FAILED tests/e2e/singlecard/multi_modal/test_vl_dense_model.py::test_models_with_aclgraph[32-Qwen/Qwen2-VL-2B-Instruct] - AssertionError: Test0:
vllm_eager_outputs:	'The image features a logo with two main components: the company name and a stylized graphic element. The company name is "TONGYI Qwen,"'
vllm_aclgraph_outputs:	'The image features a logo with two main components: the word "TONGYI" and the word "Qwen." The word "TONGYI'
============= 1 failed, 2 passed, 8 warnings in 629.00s (0:10:29) ==============

v0.11.0

1
2
3

=========================== short test summary info ============================
FAILED tests/e2e/singlecard/test_vlm.py::test_multimodal_vl[qwen2.5vl] - requests.exceptions.HTTPError: 400 Client Error: Bad Request, Request id: 950239c536184ec7a4edaa1b050a23ad for url: https://www.modelscope.cn/api/v1/models/Qwen/Qwen2.5-VL-3B-Instruct/repo/files?Revision=master&Recursive=True
======== 1 failed, 1 passed, 1 skipped, 7 warnings in 239.58s (0:03:59) ========

文章作者: xhj

文章链接: https://hzhzxfs.github.io/2025/08/03/Qwen2-VL%E7%B2%BE%E5%BA%A6%E9%97%AE%E9%A2%98/

版权声明: 本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 xhj的博客！

相关推荐

SO PRsPR1: platform 重构interface.py: 1234567class Platform: @classmethod def supports_structured_output(cls) -> bool: """ Returns whether the current platform can support structured output. """ return False cpu.py / cuda.py / hpu.py / neuron.py / rocm.py / xpu.py: return True tpu.py: 12345class TPUPlatform: @classmethod def supports_structured_output(cls) -> bool: logger.warning("Structured output is not s...

SGLang EPDMooncake Transfer EngineMooncakeTransferEngine: 封装 from mooncake.engine import TransferEngine 的 API：初始化；内存注册；数据传输。通过 engine = init_mooncake_transfer_engine() 对外暴露初始化接口。 EPD using mooncake: 123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104# encoder_transfer_backend == "mooncake"class MMEncoder: def __init__(...):...

AI训练&推理常用依赖库

AI 训练 & 推理常用依赖库PyTorchtorch…… torchaudiotorchaudio 是 PyTorch 官方用于处理音频数据和进行音频相关深度学习任务的工具包，提供了音频数据的加载和保存、频谱分析、预训练的音频模型（支持音频分类、语音识别等任务）、与 PyTorch 的数据集和数据加载器集成等功能。 torchaudio.load() 是 torchaudio 库中的一个函数，用于加载音频文件并返回音频数据及其采样率。它可以方便地将音频文件加载到 PyTorch 的张量中，以便进行后续的音频处理和深度学习任务。具体功能包括：读取音频文件：支持多种音频格式（如 WAV、MP3 等）；返回数据和采样率：返回两个值：音频信号的张量表示（通常是浮点数）和音频的采样率（Hz），方便后续处理和分析。 torchaudio.functional.resample(y, orig_freq=xxx, new_freq=xxx) 是用于对音频信号进行重采样的函数。该函数适用于需要调整音频采样率的场景，如匹配不同音频源的采样频率或准备音频数据以供模型训练。具体功...

LLM 学习项目

LLM 学习项目KuiperLLama 采用最新的 C++ 20 标准去写代码，统一、美观的代码风格，良好的错误处理；优秀的项目管理形式，我们采用 CMake + Git 的方式管理项目，接轨大厂；授人以渔，教大家怎么设计一个现代 C++ 项目，同时教大家怎么用单元测试和 Benchmark 去测试验证自己的项目； CPU 算子和 CUDA 双后端实现，对时新的大模型（LLama3 和 Qwen 系列）有非常好的支持。项目地址：https://github.com/zjhellofss/KuiperLLama。 lightllm推荐用 lightllm 这个项目学习 Triton for LLM，它是一个纯 python 的 LLM 推理服务框架，用 Triton 实现了各类 LLM 需要的 layer。项目地址：https://github.com/ModelTC/lightllm。 Material for gpu-mode lectures如何系统地学习CUDA？这个课程算是比较全面的，像 profile、triton、cutlass、FlashAttention...

Qwen2.5-VL_RoPE计算流程详解

Qwen2.5-VisionTransformer 中 RoPE cos/sin 的计算流程整个流程从 forward(x, grid_thw) 开始，分为以下几个阶段：第一步：初始化时预计算 cos/sin 缓存qwen2_5_vl.py:608-612 123456self.rotary_pos_emb = get_rope( head_size=head_dim, max_position=8192, is_neox_style=True, rope_parameters={"partial_rotary_factor": 0.5},) get_rope 最终创建一个 RotaryEmbedding 对象，关键参数： rotary_dim = head_dim * 0.5 → 只使用一半的 head 维度做旋转在 _compute_cos_sin_cache 中(base.py:83-92)： 12345# inv_freq 形状: [rotary_dim // 2]inv_fr...

Qwen3-VL-8B推理结果为空

123456789101112131415161718192021222324252627python -m vllm.entrypoints.openai.api_server \--model /root/.cache/modelscope/hub/models/Qwen/Qwen3-VL-8B-Instruct \--dtype bfloat16 \--gpu-memory-utilization 0.9 \--max-model-len 8192 \--max_num_batched_tokens 8192--host 0.0.0.0 \--port 8000 \--compilation-config '{"cudagraph_capture_sizes": [1, 2, 4, 8, 16, 32, 64, 128, 256, 512]}'curl -X POST http://localhost:8000/v1/chat/completions \ -H "Content-Type: app...