|
3 | 3 | > 调研日期:2026-08-01 |
4 | 4 | > 范围:server/ai-gateway/ + client AI 调用链路 |
5 | 5 | > 目标:识别风险、对标业界、制定可落地的优化路线图 |
| 6 | +> 现状数字(2026-08 体检更新):routers 46 个、chains 45 个、客户端 handlers 26 个(本文正文数字为调研时点快照) |
6 | 7 |
|
7 | 8 | --- |
8 | 9 |
|
@@ -353,44 +354,46 @@ ai_provider_health = Gauge("ai_provider_health", "Provider health status", ["pro |
353 | 354 |
|
354 | 355 | ## 五、实施路线图 |
355 | 356 |
|
| 357 | +> **实施状态更新(2026-08 全仓体检核实)**:Phase 1-2 全部落地;Phase 3 大部分落地(语义缓存 L2 未做);Phase 4 仅 OTel 落地。逐项状态见下表 ✅/⚠️/❌。另:routers 已增至 46 个、chains 45 个(本文档正文数字为调研时点快照)。 |
| 358 | +
|
356 | 359 | ### Phase 1:安全加固 + 熔断(2 周)🔴 |
357 | 360 |
|
358 | | -| 任务 | 优先级 | 工作量 | 影响面 | |
359 | | -|------|--------|--------|--------| |
360 | | -| 生产环境 JWT 降级模式改为拒绝启动 | P0 | 0.5d | auth.py | |
361 | | -| Prompt 注入基础防护(正则模式) | P0 | 1d | 新增 middleware | |
362 | | -| Provider 熔断器实现 | P0 | 2d | providers/ + fallback.py | |
363 | | -| 流式 fallback 超时保护 | P0 | 0.5d | fallback.py | |
364 | | -| 后台健康探活任务 | P1 | 1d | provider_bootstrap.py | |
| 361 | +| 任务 | 优先级 | 工作量 | 影响面 | 状态 | |
| 362 | +|------|--------|--------|--------|------| |
| 363 | +| 生产环境 JWT 降级模式改为拒绝启动 | P0 | 0.5d | auth.py | ✅ 已落地(auth.py:183-190 生产缺密钥 raise RuntimeError + GATEWAY_ALLOW_DEV_AUTH 开关) | |
| 364 | +| Prompt 注入基础防护(正则模式) | P0 | 1d | 新增 middleware | ✅ 已落地(middleware/prompt_guard.py,main.py:197 注册) | |
| 365 | +| Provider 熔断器实现 | P0 | 2d | providers/ + fallback.py | ✅ 已落地(providers/circuit_breaker.py) | |
| 366 | +| 流式 fallback 超时保护 | P0 | 0.5d | fallback.py | ✅ 已落地(总预算 + 首 token 探测 + tests/test_stream_fallback_timeout.py) | |
| 367 | +| 后台健康探活任务 | P1 | 1d | provider_bootstrap.py | ✅ 已落地(30s 探活循环,metrics 联动) | |
365 | 368 |
|
366 | 369 | ### Phase 2:成本追踪 + 预算控制(2 周)🟡 |
367 | 370 |
|
368 | | -| 任务 | 优先级 | 工作量 | 影响面 | |
369 | | -|------|--------|--------|--------| |
370 | | -| Token 成本追踪模块 | P0 | 3d | 新增 cost/ | |
371 | | -| 预算硬限制 + 告警 | P0 | 2d | middleware + cost/ | |
372 | | -| Prometheus 指标采集 | P1 | 2d | 新增 observability/ | |
373 | | -| 成本报表面板 | P1 | 2d | Grafana 配置 | |
| 371 | +| 任务 | 优先级 | 工作量 | 影响面 | 状态 | |
| 372 | +|------|--------|--------|--------|------| |
| 373 | +| Token 成本追踪模块 | P0 | 3d | 新增 cost/ | ✅ 已落地(cost/tracker.py,PRICE_TABLE + Redis 管道计数) | |
| 374 | +| 预算硬限制 + 告警 | P0 | 2d | middleware + cost/ | ✅ 已落地(cost/budget.py,超限 429 + tier 分级) | |
| 375 | +| Prometheus 指标采集 | P1 | 2d | 新增 observability/ | ✅ 已落地(observability/metrics.py,prometheus_client 可选降级) | |
| 376 | +| 成本报表面板 | P1 | 2d | Grafana 配置 | ❌ 未做(Grafana 面板未配置) | |
374 | 377 |
|
375 | 378 | ### Phase 3:性能优化 + 缓存升级(3 周)🟢 |
376 | 379 |
|
377 | | -| 任务 | 优先级 | 工作量 | 影响面 | |
378 | | -|------|--------|--------|--------| |
379 | | -| 语义缓存(L2)实现 | P1 | 4d | cache/ | |
380 | | -| Provider 连接池化 | P1 | 1d | providers/ | |
381 | | -| 请求并发控制(Semaphore) | P1 | 1d | main.py | |
382 | | -| 模型级联策略 | P2 | 3d | config/ + chains/ | |
383 | | -| 响应压缩中间件 | P2 | 0.5d | main.py | |
| 380 | +| 任务 | 优先级 | 工作量 | 影响面 | 状态 | |
| 381 | +|------|--------|--------|--------|------| |
| 382 | +| 语义缓存(L2)实现 | P1 | 4d | cache/ | ❌ 未落地(cache/ 仍为精确 prompt hash L1) | |
| 383 | +| Provider 连接池化 | P1 | 1d | providers/ | ✅ 已落地(httpx 连接池 + Key 池化 config/key_pool.py) | |
| 384 | +| 请求并发控制(Semaphore) | P1 | 1d | main.py | ✅ 已落地(main.py:94-99 双信号量 20/3) | |
| 385 | +| 模型级联策略 | P2 | 3d | config/ + chains/ | ✅ 已落地(TIER_MODEL_ACCESS + feature 分组 fallback 链) | |
| 386 | +| 响应压缩中间件 | P2 | 0.5d | main.py | ✅ 已落地(GZipMiddleware minimum_size=500) | |
384 | 387 |
|
385 | 388 | ### Phase 4:可观测性 + 未来扩展(3 周)🔵 |
386 | 389 |
|
387 | | -| 任务 | 优先级 | 工作量 | 影响面 | |
388 | | -|------|--------|--------|--------| |
389 | | -| OpenTelemetry 全链路追踪 | P2 | 3d | 全局 | |
390 | | -| 生产流量 → 评估数据集管道 | P2 | 4d | 新增 eval/ | |
391 | | -| 虚拟 Key 签发系统 | P2 | 3d | middleware/ | |
392 | | -| Agent 范式支持预研 | P3 | 5d | 架构设计 | |
393 | | -| 向量数据库集成预研 | P3 | 3d | 架构设计 | |
| 390 | +| 任务 | 优先级 | 工作量 | 影响面 | 状态 | |
| 391 | +|------|--------|--------|--------|------| |
| 392 | +| OpenTelemetry 全链路追踪 | P2 | 3d | 全局 | ✅ 已落地(observability/tracing.py,OTEL 可选 no-op 降级) | |
| 393 | +| 生产流量 → 评估数据集管道 | P2 | 4d | 新增 eval/ | ❌ 未实施 | |
| 394 | +| 虚拟 Key 签发系统 | P2 | 3d | middleware/ | ⚠️ 半落地(middleware/virtual_key.py 预实现,路由层未接入) | |
| 395 | +| Agent 范式支持预研 | P3 | 5d | 架构设计 | ❌ 未实施(保持规划状态) | |
| 396 | +| 向量数据库集成预研 | P3 | 3d | 架构设计 | ❌ 未实施(保持规划状态) | |
394 | 397 |
|
395 | 398 | --- |
396 | 399 |
|
|
0 commit comments