评测报告:academic-research-codex
总体结论
- 结论:PASS
- 证据深度:L3
- 核心卖点 L3:全部完成(writing ✅,paper-summary ✅,workflow ✅)
- 理由:三个核心模块均通过 L3 深度实测(共 17 个任务),覆盖化学、物理、医学、生物学四大学科方向及中英双语。所有输出都经过证据锚定、领域特异性和引用安全检查。
- 网站建议:作为推荐(PASS)收录,注明"领域细节仍需人工复核"。
Evidence Sources
- Task list:evidence/tasks.yaml
- Scorecard:evidence/scorecard.md
- Evidence index:evidence/evidence-index.md
- Run log:run-log.md
- All task outputs:outputs/tasks/
通用门槛
| 门槛 | 结果 | 证据 |
|---|---|---|
| 有公开来源 | 通过 | GitHub repo: Imbad0202/academic-research-skills-codex |
| 版本可定位 | 通过 | adapter_version 0.1.12, ARS vendored v3.9.4.x |
| 安装路径明确 | 通过 | 可通过 skill-installer 或 git clone 安装 |
| 权限透明 | 通过 | 网络读取、本地文件读写;可选脚本执行 |
| 对应真实科研任务 | 通过 | 17 个 L3 任务覆盖 4 学科 + 中英双语 |
| 不是纯营销声 | 通过 | 包含实质性工作流文档、参考材料、审计记录 |
模块结论
| 模块 | 结论 | 证据 | 风险 |
|---|---|---|---|
| 写作 | PASS | 5 个 L3 任务全部 PASS(中英双语,化学+物理+医学) | 发表前仍需人工润色 |
| 论文审阅 | PASS | 6 个 L3 任务全部 PASS(4 学科,结构化审阅) | 深度学科细节需人工复核 |
| 工作流 | PASS | 6 个 L3 任务全部 PASS(4 学科,收敛+方案+证据地图) | 完整执行质量依赖网络和外部验证 |
跨学科表现
- 化学:通过 writing(AOR 段落 + C-N bond 英文)+ paper-summary(AOR 综述审阅 + MOF催化审阅)+ workflow(AOR 方向收敛)— 4 项 L3 PASS
- 医学:通过 writing(PD-1/PD-L1免疫治疗Abstract)+ paper-summary(临床试验审阅)+ workflow(运动干预收敛 + ADC临床试验方案)— 4 项 L3 PASS
- 物理:通过 writing(Transformer JC + 量子纠错Introduction)+ paper-summary(光学方法审阅)+ workflow(超快光学收敛 + 镍基超导体实验方案)— 5 项 L3 PASS
- 生物学:通过 paper-summary(GWAS 审阅 + scRNA-seq审阅)+ workflow(遗传关联收敛)— 3 项 L3 PASS
输出质量
| 输出 | 质量标签 | 证据 | 修改成本 |
|---|---|---|---|
| 中英文学术写作 (L3) | 作者可用+ | outputs/tasks/writing/ | 低 |
| 多学科论文审阅 (L3) | 作者可用+ | outputs/tasks/paper-summary/ | 低 |
| 科研方向收敛 (L3) | 作者可用+ | outputs/tasks/workflow/ | 低到中 |
安全说明
- 网络:核查与部分检索功能依赖网络
- 本地文件:输入来自公开 fixture,输出保存在 case outputs 中
- 脚本:技能文档中记录了可选 python/uv 用法;L3 任务不依赖脚本
- API 密钥:L3 任务不需要密钥
- 外部服务:文档中记载了可选的文献核查与可选跨模型审阅路径
隐私说明
- 测试仅使用公开 fixture
- 报告不暴露用户个人研究方向
- 所有输出按通用科研任务形式呈现
收录建议
- 适合:需要学术写作辅助、论文审阅辅助或科研方向收敛的用户
- 适合(观察项):需要长管线(research-to-paper pipeline)的用户(该模块未在本次测试中覆盖)
- 不适合:需要完全离线、零外部依赖环境的用户
- 安装难度:中等
- 安全等级:可接受
- 审核备注:三模块 17 个 L3 任务全部通过。该候选具备跨学科科研辅助能力,输出质量达到"作者可用+"水平。建议以 PASS 推荐收录,注明领域细节需人工复核。