Transformer 解码策略:贪婪、采样、温度系数与 Top-k / Top-p12026年5月22日模型算出 softmax 概率分布之后,到底怎么"挑"下一个词?这一篇讲清楚贪婪解码、随机采样、温度系数这个"放飞旋钮",以及 Top-k / Top-p / Beam Search 的取舍。 AI #AI #大模型 #Transformer #解码策略 阅读全文