Skip to content

Commit 950d54a

Browse files
committed
fix(gateway): GLM flash 模型 max_tokens 上限 clamp 到 1024
GLM 免费 flash 模型输出上限 1024 tokens,超限会被 API 参数校验直接拒绝, 导致 Qwen 限流降级到 GLM 时 fallback 链在最需要兜底的时刻断裂; generate_chat 入口对 flash 模型统一 clamp,与 generate_vision 行为对齐。
1 parent 75d2f26 commit 950d54a

1 file changed

Lines changed: 5 additions & 0 deletions

File tree

‎server/ai-gateway/providers/glm_provider.py‎

Lines changed: 5 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -62,6 +62,11 @@ async def generate(
6262
6363
使用 openai 兼容 SDK 发起请求,glm-4.6v-flash 模型免费。
6464
"""
65+
# GLM 免费 flash 模型输出上限 1024 tokens(与 generate_vision 的 clamp 对齐):
66+
# 超限会被 API 参数校验直接拒绝,导致 Qwen 限流降级到 GLM 时
67+
# fallback 链在最需要兑底的时刻断裂(重试 3 次后集体失效)
68+
if "flash" in model.lower():
69+
max_tokens = min(max_tokens, 1024)
6570
start_time = time.monotonic()
6671

6772
# 构建消息列表(中文系统提示)

0 commit comments

Comments
 (0)