【摘要】1. LLM 到底在做什么 大语言模型的核心任务很朴素： 给定前面的 token，预测下一个 token。 例如输入： 法国 的 首都 是 模型要预测： 巴黎 训练时，模型会不断看到类似样本： 输入：法国 的 首都 是 目标：巴黎 如果模型给“巴黎”的概率高，loss 就小；如果模型把“伦敦”预测得 阅读全文