大模型arXiv cs.CL4 天前
Does Morphological Correctness Matter for Tokenization? A Scrambled Control Study in Tagalog
论文用他加禄语中缀（如 s-um-ulat）做对照实验，构建 MorphAustro-Tok 分词器把词根作为连续单元输出，并与 BPE 及打乱语素的对照比较。结果显示形态正确性本身在 33 次运行中未带来可检测增益，收益主要来自词根连续化而非语言学正确的切分，对类型学感知分词器的动机提出质疑。