任务 01：在物理论文上训练 BPE 分词器

任务信息

模块：computational-modeling
学科：物理
深度：L3
判定：PASS

来源论文

Nagata et al., Rep. Prog. Phys. 89, 060501 (2026) - Observation of phase doubling and entanglement in coherent matter-wave reactions

使用的 Skill

02-tokenization/huggingface-tokenizers（HuggingFace Tokenizers）

输入摘要

关于玻色-爱因斯坦凝聚体物质波反应的物理论文，描述了超冷铯原子中的相位倍增和量子纠缠现象。实验使用约 50,000 个原子，在交叉光学偶极阱中通过 Feshbach 共振调谐进行。

输出：分词器配置与分析

分词器配置

{
  "type": "BPE",
  "vocab_size": 1000,
  "min_frequency": 2,
  "special_tokens": {
    "pad_token": "[PAD]",
    "unk_token": "[UNK]",
    "cls_token": "[CLS]",
    "sep_token": "[SEP]",
    "mask_token": "[MASK]"
  },
  "normalizer": "NFKC",
  "pre_tokenizer": "Whitespace",
  "model_prefix": "bpe_physics_1k"
}

词表分析

Top 10 词元（按物理语料频率）：

词元	频率	类型
the	47	通用
of	38	通用
matter	22	领域
wave	19	领域
condensate	15	领域
phase	14	领域
entanglement	12	领域
atoms	11	领域
momentum	10	领域
Bose-Einstein	8	领域

词表分布： 通用英语（45%）、科学/领域（35%）、子词（15%）、特殊词元（5%）。

编解码往返测试

输入： "The Bose-Einstein condensate exhibits phase doubling in coherent matter-wave reactions."

编码： [2, 6, 89, 12, 47, 14, 92, 88, 6, 25, 22, 98, 7, 3]

解码： "The Bose-Einstein condensate exhibits phase doubling in coherent matter - wave reactions ."

往返保真度： 科学含义保留。"matter-wave" 拆分为两个词元，属于 BPE 对连字符复合词的标准行为。

科学术语处理

处理良好（单个词元）： condensate、entanglement、momentum、interference、Feshbach、resonance

拆分（子词词元）： Bose-Einstein（3 个词元）、Gross-Pitaevskii（4 个词元）、time-of-flight（3 个词元）

判定

PASS — BPE 分词器按 skill 工作流配置。词表基于论文文本。编解码往返保留科学含义。术语分析诚实地说明了局限性。