← 返回资源目录
S

SIE

社区出品开源Apache-2.0推理服务

面向 Agent 工作负载的开源共享推理服务器:嵌入、重排、OCR、结构化抽取统一为 OpenAI 兼容端点。

SIE 原创插图:多类模型节点汇入统一的 OpenAI 兼容端点,再分发到多个 Agent
插图:AIHub 原创设计
获取资源前往官方下载 ↗

将跳转至 github.com。本站不托管安装包,请遵循目标站点条款。

来源:github.com · 信息以官方页面为准

资源简介

SIE(superlinked 出品,Apache-2.0)把 Agent 任务背后的模型收敛到一个自托管推理服务器:`/v1/embeddings`、`/v1/chat/completions`、`/v1/completions`、`/v1/responses` 等 OpenAI 兼容端点统一提供检索嵌入与重排(bge-m3、splade-v3、colbertv2、qwen3-reranker)、文档转 Markdown 与 OCR(lightonocr、glm-ocr、mineru、paddleocr-vl、docling)、结构化抽取/NER(gliner2 等)、内容安全(granite-guardian-2b)与生成(qwen3.6-27b),SDK 暴露 encode/score/extract/generate,支持 100+ 模型按需加载与 LRU 驻留,可与 LangChain、LlamaIndex、Chroma、Qdrant 等集成。

部署按「bundle」拆分 Docker 镜像,依赖不兼容的模型家族天然隔离;本机 `pip install "sie-server[local]"` 即可起步,生产侧提供 Helm 图表、网关负载均衡、KEDA 缩容至零与主流云 Terraform 模块。注意:服务端默认开启匿名遥测(版本/系统/GPU 型号),可用 `SIE_TELEMETRY_DISABLED=1` 关闭,隐私敏感部署应显式禁用。

依赖不兼容的模型家族需拆分独立镜像,本地 GPU/内存要求较高;服务端默认开启匿名遥测(可关闭);各任务最优模型选择需按业务自行评测,本站不作推荐。

核心能力

  • 嵌入、重排、OCR、结构化抽取、内容安全与生成统一为 OpenAI 兼容 API
  • 100+ 模型按需加载与 LRU 驻留,一套服务多 Agent 共享
  • 本机 pip 起步,生产级 Helm/KEDA/Terraform 配套

适合谁

为多个 Agent 应用自建检索与文档理解基础设施的工程团队。