三个项目,一个生态系统
规范层定义规则。两种运行时实现将规范付诸实践。
v0.5.0
AI-Protocol
与供应商无关的规范。YAML 清单定义如何与每个 AI 服务商通信——零硬编码逻辑。
- 35+ 服务商清单
- JSON Schema 验证
- 流式事件规范化
- 错误分类标准
- 热重载配置
v0.7.1
ai-lib-rust
高性能 Rust 运行时。V2 标准错误码、功能开关、基于算子的流式管道、编译时安全、亚毫秒级开销。
- 基于算子的管道
- V2 标准错误码
- 功能门控模块
- 熔断器与限流器
- 嵌入与缓存
- 插件系统
- 发布于 Crates.io
v0.6.0
ai-lib-python
开发者友好的 Python 运行时。V2 标准错误码、按能力扩展、完整异步支持、Pydantic v2 类型、生产级遥测。
- 原生 async/await
- V2 标准错误码
- 按能力扩展
- Pydantic v2 类型安全
- OpenTelemetry 集成
- 模型路由与负载均衡
- 发布于 PyPI
协议驱动设计
「所有逻辑都是算子,所有配置都是协议。」每个服务商的行为都在 YAML 中声明——运行时不含任何硬编码的服务商逻辑。
声明式配置
服务商端点、认证、参数映射、流式解码器和错误处理——均在 YAML 清单中声明,由 JSON Schema 验证。
基于算子的管道
流式响应流经可组合算子:Decoder、Selector、Accumulator、FanOut、EventMapper。每个算子均由协议驱动。
热重载就绪
无需重启即可更新服务商配置。协议变更自动传播到运行时。通过配置而非代码添加新服务商。
生态系统架构
三层协同工作——规范定义规则,运行时执行规则,应用消费统一接口。
工作原理
从用户请求到统一的流式事件——每一步都由协议驱动。
选择你的运行时
同一协议,各有优势。选择适合你技术栈的运行时。
| 能力 | AI-Protocol | Rust SDK | Python SDK |
|---|---|---|---|
| 类型系统 | JSON Schema | 编译时(Rust) | 运行时(Pydantic v2) |
| 流式 | SSE/NDJSON 规范 | tokio async streams | async generators |
| 弹性 | 重试策略规范 | 熔断器、限流器、背压 | ResilientExecutor 及所有模式 |
| 嵌入 | — | 向量运算、相似度 | 向量运算、相似度 |
| 分发 | GitHub / npm | Crates.io | PyPI |
| 最适合 | 规范与标准 | 系统、性能关键 | ML、数据科学、原型开发 |
支持 35+ AI 服务商
通过协议配置驱动,无需任何硬编码即可接入全球和中国区主流 AI 服务商
全球服务商
D
DeepInfra O
OpenRouter N
NVIDIA F
Fireworks R
Replicate A
AI21 Labs C
Cerebras P
Perplexity L
Lepton AI 中国区服务商
D
Doubao Z
Zhipu GLM M
MiniMax B
Baichuan Y
Yi / 01.AI S
SiliconFlow S
SenseNova T
Tiangong