dtype generalization pass测试

[WHoutstanding]

测试环境：
python=3.10
torch=2.6

1. 使用graph_net/test/dtype_gen_test.sh测试graph_net/config/small100_torch_samples_list.txt中100个sample的float16和bfloat16的dtype generalization pass，测试结果：

smaple_float16 和 sample_bfloat16 都生成的数量: 74
只生成 smaple_float16 的数量: 0
只生成 smaple_bfloat16 的数量: 7

2. 使用graph_net/torch/validate.py对生成的sample_float16和sample_bfloat16进行验证，生成的smaple_float16 和 sample_bfloat16 都通过验证

3. 部分sample dtype generalization pass 出现error，对RuntimeError 和 [WARNING]进行过滤，详细见error_log.txt.txt文件
   失败例子：
   RuntimeError: expected scalar type Half but found Float
   RuntimeError: expected scalar type BFloat16 but found Float
   2026-01-15 14:50:15,468 [WARNING] No dtype passes applicable for /home/aistudio/GraphNet/graph_net/../samples/transformers-auto-model/hf-tiny-model-private_tiny-random-Swinv2ForImageClassification

[Xreki]

1. bf16转换成功、fp16不成功的样本是哪几个，为什么fp16失败了？
2. 请统计下每种错误的类型
3. 以下错误可以详细看看模型： - 报错在什么算子

RuntimeError: expected scalar type Half but found Float
RuntimeError: expected scalar type BFloat16 but found Float

• 为什么两个输入的数据类型没有做相同的变换

RuntimeError: mat1 and mat2 must have the same dtype, but got Float and Half
RuntimeError: mat1 and mat2 must have the same dtype, but got Float and BFloat16

• bias的数据类型理论上也会变换，为什么没有变换成功

RuntimeError: invalid dtype for bias - should match query's dtype
RuntimeError: invalid dtype for bias - should match query's dtype

[WHoutstanding]

1. bf16转换成功、fp16不成功的样本共有7个:

samples/transformers-auto-model/distilbert_distilbert-base-multilingual-cased
samples/transformers-auto-model/Helsinki-NLP_opus-mt-zh-en
samples/transformers-auto-model/aimarsg_prueba5
samples/transformers-auto-model/mohsenfayyaz_BERT_Warmup
samples/transformers-auto-model/simjo_dummy-model
samples/transformers-auto-model/distilbert_distilbert-base-uncased
samples/transformers-auto-model/TrustSafeAI_RADAR_Vicuna_7B

fp16不成功的RuntimeError都是：

    attn_output = torch.nn.functional.scaled_dot_product_attention(q, k, v, attn_mask = attention_mask, dropout_p = 0.0, is_causal = False);  q = k = v = None
RuntimeError: invalid dtype for bias - should match query's dtype

原因：

if self._is_float32_tensor(node):
    return new_graph.call_method("to", args=(new_node, self.torch_dtype))

self._is_float32_tensor没有正确处理scaled_dot_product_attention内部的 bias
当 self.torch_dtype = torch.bfloat16 时：
scaled_dot_product_attention内部的bias是 float32，能自动cast为bfloat16。
当 self.torch_dtype = torch.float16 时：
caled_dot_product_attention内部bias仍然是 float32
PyTorch kernel要求q和bias dtype完全一致

2. bf16、fp16都不成功的错误类型：

     context_layer_6 = torch.matmul(attention_probs_5, value_layer_2);  attention_probs_5 = value_layer_2 = None
RuntimeError: expected scalar type **(Half or BFloat16)** but found Float

    linear_1 = torch.nn.functional.linear(x_1, to_3, to_4);  x_1 = to_3 = to_4 = None
RuntimeError: mat1 and mat2 must have the same dtype, but got Float and **(Half or BFloat16)**

    query_states = torch.nn.functional.linear(normed_hidden_states, to_3, None);  to_3 = None
RuntimeError: expected mat1 and mat2 to have the same dtype, but got: float != c10::**(Half or BFloat16)**

    patch_embeds = torch.conv2d(to_592, to_1, None, (14, 14), (0, 0), (1, 1), 1);  to_592 = to_1 = None
RuntimeError: Input type (torch.cuda.FloatTensor) and weight type (torch.cuda.HalfTensor) should be the same

原因：上面四个错误类型都是graph_net/torch/dtype_gen_passes/dtype_generalization_pass.py的rewrite函数没有处理计算图中间计算节点（call_function / call_method）的输出或者上游输入的dtype转换，rewrite核心逻辑：

for node in gm.graph.nodes:
    if node.op == "placeholder":
        val_map[node] = create_placeholder(node)
    elif node.op == "get_attr":
        val_map[node] = create_get_attr(node)
    else:
        new_node = new_graph.node_copy(node, lambda x: val_map.get(x, x))
        val_map[node] = new_node

[Xreki]

是不是可以遍历一遍计算图，针对计算图这些中间算子进行改写。不过这属于对计算图很大的改动，极有可能会引发别的问题，需要谨慎些，可能需要设计一些白名单机制。

[WHoutstanding]

torch.matmul在计算图的node类型为”call_function"
torch.nn.functional.linear在计算图的node类型为"call_module"
torch.conv2d在计算图的node类型为”call_function"
目前rewrite的代码只对node类型为"placeholder"和“get_attr"进行了dtype转换

解决办法：是否可以对node类型为”call_function"进行类型转换或者对报错的call_funtion的算子进行特殊处理，如果特殊处理，但是考虑到目前只跑了100个samples，随着samples数量增加，可能会有新的算子Error,白名单的算子数量会增加

[lixinqi]

torch.matmul在计算图的node类型为”call_function" torch.nn.functional.linear在计算图的node类型为"call_module" torch.conv2d在计算图的node类型为”call_function" 目前rewrite的代码只对node类型为"placeholder"和“get_attr"进行了dtype转换

解决办法：是否可以对node类型为”call_function"进行类型转换或者对报错的call_funtion的算子进行特殊处理，如果特殊处理，但是考虑到目前只跑了100个samples，随着samples数量增加，可能会有新的算子Error,白名单的算子数量会增加

可以。这就很像维度泛化那边的逻辑了

[Xreki]

解决办法：是否可以对node类型为”call_function"进行类型转换或者对报错的call_funtion的算子进行特殊处理，如果特殊处理，但是考虑到目前只跑了100个samples，随着samples数量增加，可能会有新的算子Error,白名单的算子数量会增加

依据amp.auto_cast的规则，matmul、linear、conv2d是在低精度的白名单中的，碰到白名单算子，若输入不是低精度，则插入cast即可，不用考虑图中其它结构。

torch.cuda.amp.autocast_amp._AUTOCAST_OPS可以获取torch内部的一些名单信息。

[Xreki]

commit 29cb1fce329f1ff0d6ad50475636bb088f240fba (origin/develop, origin/HEAD, develop)
Author: Tofu <127583129+WHoutstanding@users.noreply.github.com>
Date:   Thu Jan 22 16:48:25 2026 +0800

    Dtype gen pass (#593)

基于上述commit，测试全量数据集，结果如下：

类型	样本数	比例
float16泛化成功	2170	88%
bfloat6泛化成功	2173	88%

全量测试日志如下：
log_dtype_generalization_20260121_3.txt

去重后错误类型汇总如下（fp16、bf16都有错误时，只展示一种）：

错误详情	错误样本数
RuntimeError: mixed dtype (CPU): expect parameter to have scalar type of Float	6
RuntimeError: value cannot be converted to type at::Half without overflow	32
RuntimeError: invalid dtype for bias - should match query's dtype	173
RuntimeError: expected scalar type Float but found Half	18
RuntimeError: Unsupported dtype Half	1
TypeError: expected Tensor as element 0 in argument 1, but got NoneType	5
RuntimeError: Input dtypes must be the same, got: input float, batch1: c10::Half, batch2: c10::Half	4
RuntimeError: cuFFT only supports dimensions whose sizes are powers of two when computing in half precision, but got a signal size of[13, 768]	2
RuntimeError: mat1 and mat2 must have the same dtype, but got Float and Half	3

对以下3个问题进行了初步的分析：

1. 一些样本是跑在了CPU上，不同硬件设备上支持的低精度类型不同，主要是weight_meta.py里面输入都是device=cpu。CPU不支持fp16。数据类型转换最好提供device配置，get_torch_module_and_inputs可以传入device参数。但设置这个后，可能引入设备相关的执行问题，有些样本需要应用device_rewrite_sample_pass。对应的错误是layer_norm算子：

hidden_states_ln = torch.nn.functional.layer_norm(embeddings_2, (480,), to_1, to_2, 1e-05);  to_1 = to_2 = None
RuntimeError: mixed dtype (CPU): expect parameter to have scalar type of Float

2. 有些算子，权重需要保留为FP32类型，代码里面有定义FLOAT32_PRESERVED_WEIGHTS，但是没有实际使用到。
   

对应报错依然是layer_norm算子：

hidden_states_ln = torch.nn.functional.layer_norm(embeddings_2, (480,), to_1, to_2, 1e-05);  to_1 = to_2 = None
RuntimeError: mixed dtype (CPU): expect parameter to have scalar type of Float

3. 算子中用到了立即数，输入改成了低精度类型后，立即数超出了低精度表示范围。对应的错误是masked_fill算子：

attention_scores_3 = attention_scores_2.masked_fill(invert, -3.4028234663852886e+38)
RuntimeError: value cannot be converted to type at::Half without overflow

4. 错误样本数较多的，可能只是fx.Graph中写法不一样，因而白名单没支持到位。

RuntimeError: invalid dtype for bias - should match query's dtype

[Xreki]

请调整下输出的目录格式。比如model_path=samples/timm/resnet18（不包括model_path_prefix部分），output_dir指定的输出路径保存的样本路径应如下：

.
├── bfloat16
│   └── samples
│       └── timm
│           └── resnet18
├── float16
│   └── samples
│       └── timm
│           └── resnet18
└── float32
    └── samples
        └── timm
            └── resnet18

其中float32目录拷贝原始样本，float16和bfloat16放置生成的低精度样本。