← 标签

#Structured Output (4)

瀑布流分页

NandhaKishorM/layaApache-2.0

Laya：单次前向的类型化决策引擎

面向本地部署的多语言非自回归决策引擎，用单次前向回答选择、评分与二元判断，并以路由、批处理和校准接口服务 Agent 工作流。

大语言模型Decision Engine

Python34k3.1k122

deepseek-ai/DeepInferApache-2.0

DeepInfer：支撑 DeepSeek 生产服务的推理框架

DeepSeek 把自己生产环境的推理引擎开源了出来。DeepInfer 是 DeepSeek-V4.1-Flash 的服务框架，本次放出离线推理核心：C++ 零开销异步调度器、注意力 DP/均衡 CP 加 MoE EP 与 EPLB、DSpark 投机解码配置信度调度验证、SWA 有界回放预填充、批不变与确定性采样、正则/JSON/EBNF 结构化输出；NVIDIA SM100 与昇腾 950 双后端，Apache-2.0。

LLM InferenceInference Framework

Python1.8k1291

亲手构建自己的 Jev（100% 本地）：用 SGLang 复现固定答案打分决策引擎

用 SGLang /v1/score 在本地复现 Jev 式固定答案打分：单 token 标签、受限 softmax、置信度分流路由，并与结构化输出、自回归生成实测对照：单决策 6 ms 对 1088 ms。

博客

JevSystem One Models

Jev 与 System One Model：把前沿智能做成一次函数调用

TypeSafe 首个 System One Model Jev 精读：三种提问原语、并行经济学、置信度分层路由、官方评测偏差与八处毛边，附 OpenJev 本机复现。

博客

TypeSafeJev

作为亚马逊联盟会员,我们可能从符合条件的购买中获得佣金。