本地 LLM 不太适合总结这类任务，因为当前 cpu 推理，prompt 评估时间很长，通俗的说，本地 LLM 阅读 p…

本地 LLM 不太适合总结这类任务，因为当前 cpu 推理，prompt 评估时间很长，通俗的说，本地 LLM 阅读 prompt 的速度大约只是生成速度的 2 倍，而 GPU 跑 LLM 可以秒读长 prompt ，GPT4 阅读速度可以达到 2800token/s 。intel ，amd ，apple 现在都在发力 AI PC ，CPU 推理后面应该会得到优化