dsh-eval-infra

TT-Wang

1 0

为 DeepSeek Harness 组件提供成对 A/B 评估基础设施,可对插件、系统提示词、循环与上下文设计、工具集、记忆后端和安全防护做对照实验,含 init、selfcheck、diff、run 与 ui 等命令行工具。

查看原仓库英文描述

Paired A/B evaluation infrastructure for DeepSeek Harness (dsh) components: interleaved repeated runs through the real runtime, verifier self-checks, one-variable arms, regression gating, cache- and calendar-aware cost, CLI + web UI

ab-testingagent-evaluationdeepseek-harnessdsh-pluginllm-evaluation

基础信息核对

自动核对
中文简介 自动核对 安装命令 自动核对 分类 自动核对

项目活跃度

数据覆盖 60% · 抽样数据 · 数据截至 2026-09-09

观察期
72/100
最近代码活动 35/35

100 次提交 · 最近推送 今天

Issue 响应 N/A

0 个样本 · 暂不计分

PR 协作 N/A

0 个样本 · 暂不计分

贡献持续性 7/10

2 位近 90 天活跃贡献者

版本交付 0/5

未发现GitHub Release

社区关注度 1/10

1 Stars · 0 Forks

该分数仅反映 GitHub 上可观察的维护与协作活动,不评价插件质量、安全性、兼容性或实际可用性。

查看评分方法

安装

dsh plugin --profile web add github:TT-Wang/dsh-eval-infra

首次安装 GitHub 来源的包时,可能需要在 profile 的 pnpm-workspace.yaml 的 allowBuilds 中允许该包的构建脚本;也可用 github:TT-Wang/dsh-eval-infra#<commit-sha> 锁定版本。详见官方文档。

还没有 DSH?两步开始 →

第一步:准备 Node.js 环境

DSH 依赖 Node.js(建议 20 LTS 或更新版本)。终端里运行 node -v 能显示版本号即已就绪。

已有 Node.js:直接进入第二步。

没有 Node.js:去 nodejs.org 下载 LTS 安装包(Windows/macOS 双击安装);或用包管理器:

brew install node
winget install OpenJS.NodeJS.LTS

第二步:启动 DSH

无需安装,直接运行:

npx @deepseek-ai/dsh web

浏览器打开 http://127.0.0.1:3080,在 Web UI 的插件市场里搜索 dsh-eval-infra,或粘贴上面的安装命令。

在 GitHub 查看 分享到 X