SIE
社区出品开源Apache-2.0推理服务面向 Agent 工作负载的开源共享推理服务器:嵌入、重排、OCR、结构化抽取统一为 OpenAI 兼容端点。

将跳转至 github.com。本站不托管安装包,请遵循目标站点条款。
来源:github.com · 信息以官方页面为准资源简介
SIE(superlinked 出品,Apache-2.0)把 Agent 任务背后的模型收敛到一个自托管推理服务器:`/v1/embeddings`、`/v1/chat/completions`、`/v1/completions`、`/v1/responses` 等 OpenAI 兼容端点统一提供检索嵌入与重排(bge-m3、splade-v3、colbertv2、qwen3-reranker)、文档转 Markdown 与 OCR(lightonocr、glm-ocr、mineru、paddleocr-vl、docling)、结构化抽取/NER(gliner2 等)、内容安全(granite-guardian-2b)与生成(qwen3.6-27b),SDK 暴露 encode/score/extract/generate,支持 100+ 模型按需加载与 LRU 驻留,可与 LangChain、LlamaIndex、Chroma、Qdrant 等集成。
部署按「bundle」拆分 Docker 镜像,依赖不兼容的模型家族天然隔离;本机 `pip install "sie-server[local]"` 即可起步,生产侧提供 Helm 图表、网关负载均衡、KEDA 缩容至零与主流云 Terraform 模块。注意:服务端默认开启匿名遥测(版本/系统/GPU 型号),可用 `SIE_TELEMETRY_DISABLED=1` 关闭,隐私敏感部署应显式禁用。
依赖不兼容的模型家族需拆分独立镜像,本地 GPU/内存要求较高;服务端默认开启匿名遥测(可关闭);各任务最优模型选择需按业务自行评测,本站不作推荐。
核心能力
- 嵌入、重排、OCR、结构化抽取、内容安全与生成统一为 OpenAI 兼容 API
- 100+ 模型按需加载与 LRU 驻留,一套服务多 Agent 共享
- 本机 pip 起步,生产级 Helm/KEDA/Terraform 配套
适合谁
为多个 Agent 应用自建检索与文档理解基础设施的工程团队。