大模型推理是更大的“电老虎”, 不过研究人员找到了驯服它的方法

AI大模型的训练阶段通常被认为是能源消耗最高的阶段。在此阶段，训练诸如GPT系列的大模型需要大量的数据集进行训练，并通过调整其参数来使预测输出与目标输出尽可能一致。 虽然大模型训练阶段的能耗很高，但有证据表明，大模型推理调用频率远高于训练，导致推理阶段的能耗可能更高，成为更大的“电老虎”。 大模型推理能耗更高 随着大模型的快速发展，与之相关的能源消耗也在快速增长。在训练阶段，大模型就是“电老虎”。 Hugging Face曾透露其BLOOM 大模型在训练期间消耗了433兆瓦时......查看更多

2025-02-04