gemma-4图像怎么设置最大token数量

[Camellia-hz]

Checklist / 检查清单

• I have searched existing issues, and this is a new question or discussion topic. / 我已经搜索过现有的 issues，确认这是一个新的问题与讨论。

Question Description / 问题描述

全参微调gemma-4时，怎么控制每张图像的最大token数量呢？max_pixels似乎没作用，我设置50176后，最后每张图片token竟然是200+，但是在qwen3系列时，就是49个token

[Camellia-hz]

@Jintao-Huang 大佬您好，还有一个问题，如果想微调google/gemma-4-31B-it这个模型的话，我看到如果把enable_thinking=False，那么这个模型会在最后的prompt里面加入一个空的字段：model\n<|channel>thought\n<channel|>。可是在现在的repo中，如果要微调google/gemma-4-31B-it，然后使用template：gemma4的话，他不会像qwen的template那样，如果把thinking关掉，会自动加上non_thinking_prefix='\n\n\n\n',这个空字段，并且不计算loss，这样出来的数据是不是和google/gemma-4-31B-it这个模型目标的输入不一致呢？

[Camellia-hz]

我尝试在swift/template/templates/gemma.py这个文件中定义了一个nothinking，不知道对不对，因为这里应该默认不需要计算loss吗？
class Gemma431BNoThinkingTemplate(Gemma4Template):
no_thinking_channel_prefix = '<|channel>thought\n<channel|>'

def _swift_prepare_inputs(self, inputs: StdTemplateInputs):
    for message in inputs.messages:
        if message['role'] == 'assistant' and isinstance(message['content'], str):
            content = message['content']
            if not content.startswith(self.no_thinking_channel_prefix):
                message['content'] = self.no_thinking_channel_prefix + content
    super()._swift_prepare_inputs(inputs)

@DataClass
class Gemma431BNoThinkingTemplateMeta(Gemma4TemplateMeta):
# Align SFT with google/gemma-4-31B-it non-thinking chat template, which
# starts the model turn with an empty thought channel before the final answer.
response_prefix: str = '<|channel>thought\n<channel|>'

register_template(
Gemma431BNoThinkingTemplateMeta(
MLLMTemplateType.gemma4_31b_nothinking, template_cls=Gemma431BNoThinkingTemplate))

[Camellia-hz]

新的报错：[rank0]: ValueError: Gemma4AudioModel is not compatible with gradient checkpointing. Make sure all the architecture support it by setting a boolean attribute gradient_checkpointing to modules of the model that uses checkpointing.

[Camellia-hz]

新的报错： [rank0]: File "/home/tiger/.local/lib/python3.11/site-packages/flash_attn/flash_attn_interface.py", line 165, in _flash_attn_varlen_forward
[rank0]: out, softmax_lse, S_dmask, rng_state = flash_attn_gpu.varlen_fwd(
[rank0]: ^^^^^^^^^^^^^^^^^^^^^^^^^^
[rank0]: RuntimeError: FlashAttention forward only supports head dimension at most 256
不能用flash attn

[1663852241qwe-ops]

Gemma4-31B-it Swift SFT 问题排查记录

问题 1：mistral_common 版本不兼容

报错信息

ImportError: cannot import name 'ReasoningEffort' from 'mistral_common.protocol.instruct.request'

原因
transformers 新版本依赖 mistral_common 中的 ReasoningEffort 类，但已安装的 mistral_common 版本过旧，缺少该类。

解决方案

pip install --upgrade mistral_common

---

问题 2：LoRA target_modules 自动检测失败（NoneType）

报错信息

AttributeError: 'NoneType' object has no attribute 'named_modules'

原因
使用 --target_modules all-linear 时，Swift 调用 get_multimodal_target_regex 按子模块拆分模型，但 Gemma4 架构（注册为 gemma3n）的某些子模块路径无法正确解析，导致 sub_module 为 None。

解决方案
手动指定 --target_modules 或使用 --target_regex，不用 all-linear。

---

问题 3：Gemma4ClippableLinear 不被 PEFT 支持

报错信息

ValueError: Target module Gemma4ClippableLinear(...) is not supported.
Currently, only the following modules are supported: `torch.nn.Linear`, ...

原因
Gemma4 视觉编码器使用自定义的 Gemma4ClippableLinear 层（内部包裹 nn.Linear），PEFT/LoRA 无法识别。当 --freeze_vit false 或 --target_modules 匹配到 VIT 层时触发。

解决方案
使用 --target_regex 将 LoRA 限定在 LLM 路径下，完全绕过 VIT 层：

--target_regex "^model\.language_model\..*\.(q_proj|k_proj|v_proj|o_proj|gate_proj|up_proj|down_proj)$"

注意：仅设置 --freeze_vit true + --target_modules q_proj ... 不够，因为 LoRA 注入在 freeze 之前执行，模块名匹配仍会命中 VIT 中的同名层。

---

问题 4：gradient checkpointing 子模块为 None

报错信息

AttributeError: 'NoneType' object has no attribute 'supports_gradient_checkpointing'

原因
swift/trainers/utils.py 中 dynamic_gradient_checkpointing 函数遍历 language_model 架构的子模块路径（['model.language_model', 'lm_head']），但经过 PEFT 包装后某些路径无法解析，deep_getattr 返回 None。

解决方案
Patch swift/trainers/utils.py，在第 190 行前添加 None 检查：

# 文件: swift/trainers/utils.py, dynamic_gradient_checkpointing 函数
for tower_name in tower_names:
    if tower_name is None:
        model_tower = model
    else:
        model_tower = deep_getattr(model, tower_name)
    if model_tower is None:       # <-- 新增
        continue                   # <-- 新增
    model_tower.supports_gradient_checkpointing = True

---

问题 5：Flash Attention 不支持 Gemma4 的 head dimension

报错信息

FlashAttention forward only supports head dimension at most 256

原因
Gemma4 的 attention head dimension 超过 256，而 Flash Attention 最大只支持 256。

解决方案
不设置 --attn_impl，使用模型默认的 attention 实现；或显式指定 --attn_impl sdpa。

---

最终可用配置

swift sft \
  --deepspeed zero1 \
  --model /models/gemma-4-31B-it \
  --tuner_type lora \
  --lora_rank 32 \
  --lora_alpha 64 \
  --lora_dropout 0.1 \
  --target_regex "^model\.language_model\..*\.(q_proj|k_proj|v_proj|o_proj|gate_proj|up_proj|down_proj)$" \
  --freeze_vit true \
  --freeze_aligner true \
  --freeze_llm false \
  --torch_dtype bfloat16 \
  --gradient_checkpointing true \
  ...

关键点总结：

参数	推荐值	说明
target_regex	^model\.language_model\..*	限定 LoRA 只作用于 LLM
freeze_vit	true	冻结视觉编码器
freeze_aligner	true	冻结对齐层
attn_impl	不设置（默认）	Flash Attention 不支持 Gemma4 head dim
mistral_common	>=1.5.0	需升级以兼容新版 transformers

Swift 对 Gemma4 的适配尚不完善，需手动 patch swift/trainers/utils.py。建议关注 ms-swift 后续版本更新。

[Jintao-Huang]

我看看 稍等