AI-Lib AI-Lib
开源生态系统

一套协议,
统一所有 AI 服务商。

AI-Lib 是一个开源生态系统,标准化 AI 模型交互方式。一套规范驱动 Rust 和 Python 运行时——支持 35+ 服务商,零硬编码逻辑。

35+
AI 服务商
3
核心项目
0
硬编码逻辑
2
语言运行时

协议驱动设计

「所有逻辑都是算子,所有配置都是协议。」每个服务商的行为都在 YAML 中声明——运行时不含任何硬编码的服务商逻辑。

声明式配置

服务商端点、认证、参数映射、流式解码器和错误处理——均在 YAML 清单中声明,由 JSON Schema 验证。

基于算子的管道

流式响应流经可组合算子:Decoder、Selector、Accumulator、FanOut、EventMapper。每个算子均由协议驱动。

热重载就绪

无需重启即可更新服务商配置。协议变更自动传播到运行时。通过配置而非代码添加新服务商。

生态系统架构

三层协同工作——规范定义规则,运行时执行规则,应用消费统一接口。

AI-Lib 生态系统架构 应用层 运行时层 协议层 Web 应用 / API 服务 Rust / Python 你的应用代码 AI 智能体 多轮对话 / 工具调用 CLI 工具 批处理 / 数据管道 ai-lib-rust v0.6.6 AiClient Pipeline Transport Resilience Embeddings Cache / Batch Crates.io · tokio + reqwest · <1ms overhead ai-lib-python v0.5.0 AiClient Pipeline Transport Resilience Telemetry Routing PyPI · httpx + Pydantic v2 · async/await 加载协议清单 AI-Protocol v1.5 spec.yaml 核心规范 providers/*.yaml 35+ 服务商清单 models/*.yaml 模型注册表 schemas/ JSON Schema YAML 定义 → JSON 编译 → 运行时消费 · 无供应商锁定

工作原理

从用户请求到统一的流式事件——每一步都由协议驱动。

请求-响应数据流 请求流 → 用户请求 chat() AiClient 统一请求 Protocol compile_request() Transport HTTP POST AI 服务商 OpenAI, etc. ← 响应流 (SSE/JSON) 字节流 SSE / NDJSON Decoder 解码帧 Pipeline Select → Accumulate → Map EventMapper StreamingEvent 应用消费 统一事件 所有参数映射和事件规范化由协议清单驱动 — 零硬编码逻辑 统一事件类型: PartialContentDelta · ToolCallStarted · PartialToolCall · StreamEnd

选择你的运行时

同一协议,各有优势。选择适合你技术栈的运行时。

能力 AI-Protocol Rust SDK Python SDK
类型系统 JSON Schema 编译时(Rust) 运行时(Pydantic v2)
流式 SSE/NDJSON 规范 tokio async streams async generators
弹性 重试策略规范 熔断器、限流器、背压 ResilientExecutor 及所有模式
嵌入 向量运算、相似度 向量运算、相似度
分发 GitHub / npm Crates.io PyPI
最适合 规范与标准 系统、性能关键 ML、数据科学、原型开发

支持 35+ AI 服务商

通过协议配置驱动,无需任何硬编码即可接入全球和中国区主流 AI 服务商

全球服务商

OpenAI OpenAI
Anthropic Anthropic
Google Gemini Google Gemini
Groq Groq
Mistral Mistral
Cohere Cohere
Azure OpenAI Azure OpenAI
Together AI Together AI
Hugging Face Hugging Face
Grok Grok
Ollama Ollama
D
DeepInfra
O
OpenRouter
N
NVIDIA
F
Fireworks
R
Replicate
A
AI21 Labs
C
Cerebras
P
Perplexity
L
Lepton AI

中国区服务商

DeepSeek DeepSeek
Qwen Qwen
D
Doubao
Z
Zhipu GLM
Baidu ERNIE Baidu ERNIE
Tencent Hunyuan Tencent Hunyuan
iFlytek Spark iFlytek Spark
Moonshot Moonshot
M
MiniMax
B
Baichuan
Y
Yi / 01.AI
S
SiliconFlow
S
SenseNova
T
Tiangong

准备好开始了吗?

阅读文档,选择你的运行时,从今天开始使用 35+ AI 服务商进行开发。