教程
OCRia-1 背后的推理栈：单张 B200 上 token 生成提速近 10 倍
导读
LlamaIndex 披露 OCRia-1 文档解析模型的推理优化方案，在单张 B200 GPU 上把 token 生成速度从约 285 tokens/sec 提升到约 2800 tokens/sec，接近 10 倍。方案结合了混合精度量化（BF16、FP8、NVFP4，视觉编码器不量化）与 DFlash2 块扩散投机解码，后者接受率超过 12 个 token。
教程
LlamaIndex 披露 OCRia-1 文档解析模型的推理优化方案，在单张 B200 GPU 上把 token 生成速度从约 285 tokens/sec 提升到约 2800 tokens/sec，接近 10 倍。方案结合了混合精度量化（BF16、FP8、NVFP4，视觉编码器不量化）与 DFlash2 块扩散投机解码，后者接受率超过 12 个 token。