正在打开每日关注
正在打开每日关注
内容以《三体》文本为语料，展示 UTF-8 字节级 BPE 分词器训练，并参考 karpathy/minbpe 的实现。
@eoe Openidagjaomala x Tatokenizer x | @O nokemuiktoken_exjopena x | 二 v < > C 邱 gihubcomlkarpathyIminbpe 攻 女 巴 和 Newchomeavaiabe : 汪 Apps Mnbox 口 Gilub 口 AwS 办 LUmbd 加 sureami ;iiwandb 加 HF 口 pyinimate Excaidraw 天 miro 国 x 加 wedumn 侈 phtom 和 chatcPT 四 Li 口 Un 目 proiectTimeline--
视频主题是“如何训练自己的中文 Tokenizer 分词器”。画面显示在 Notebook 中读取 three_body_utf8.txt，对文本执行 UTF-8 编码并查看字节序列，意图用中文语料训练分词器。
画面随后打开 karpathy/minbpe 仓库。OCR 所示 README 将其描述为面向 LLM tokenization 的最小化、干净的字节级 BPE 实现，并列出训练词表与合并规则、编码、解码三项能力；仓库还区分直接处理文本的 BasicTokenizer 与先按正则类别切分的 RegexTokenizer。
可将“原始中文语料 → UTF-8 字节 → BPE 合并 → 编码/解码验证”作为学习分词器的最小实验路径。选用可读性较高的参考实现，也便于逐步观察词表、merge 规则和 token 数变化。
视频未提供语音说明、训练参数、语料规模、评估结果或完整代码，不能据此判断训练质量或其是否适用于生产。OCR 内容来自仓库页面和屏幕画面，文件名、实现细节及“现代 LLM 都使用该算法”等表述应在人工审核时回到原始来源核验。