AI 入门教程返回首页本章小测

大模型如何生成回答?训练与推理入门

从训练后的权重,到一次回答所需的信息,理解大模型在使用时怎样工作。

作者:

01

训练与推理

训练,是利用数据调整模型,让它学到其中的规律。推理,是使用训练好的模型处理当前输入、产生输出。

训练通常发生在模型投入使用之前,也可能在后续更新中继续进行。你每次提问时,一般是在使用模型进行推理。

我和 AI 聊天,它就会立刻变聪明吗?

聊天会为当前回答提供新信息;重新训练则会调整模型的权重。日常聊天时,模型主要利用你提供的信息完成当前任务。

这里的“推理”,一定是指逻辑思考吗?

不是。在模型运行的语境里,“推理”也叫 inference,泛指模型处理输入、产生输出的过程;它可能只是识别一张图或回答一句话。讨论解题能力时,“推理”才常用来指 reasoning,也就是逻辑分析等能力。

那聊天数据会被拿去训练吗?

是否用于后续训练,取决于产品的数据政策、账号类型和相关设置。“这次聊天不会实时改变模型”与“数据以后是否用于训练”是两个问题。

02

权重与模型版本

权重是模型内部的一组数值。训练会调整这些数值,使模型逐渐形成处理信息的能力。初学时,先把它理解为训练后形成的参数就够了。

对于已经训练好的某个模型版本,日常回答问题时,权重通常不会改变。要改变这些参数,一般需要另外进行训练或更新。

我纠正了一个错误,所有人以后的答案都会变吗?

通常不会。你的纠正主要影响当前对话,其他用户仍在使用原来的模型版本。

模型版本是什么意思?

可以先理解为经过某次训练和发布的模型。后续更新可能形成新的版本。产品名称、模型名称和具体版本是不同层面的信息,同名产品也可能更换内部使用的模型。

为什么同一个 AI,今天和昨天的表现不一样?

可能是上下文不同,也可能涉及模型版本、产品设置或可用工具变化。生成过程本身也可能带来差异。一次回答表现不同,不足以证明模型整体变强或变弱。

03

一次回答是怎样发生的

一次回答可以先理解为:系统把本次可用的信息提供给模型,模型利用已有能力处理这些信息,再生成输出。

输入不只有你刚打的一句话,还可能包含产品设置的指令、先前对话、参考资料和工具结果。这些当前可参考的信息,统称为上下文。

我只发了一句话,为什么它知道前面聊过什么?

因为产品通常会把相关前情也提供给模型。模型虽然在处理你最新的问题,但它实际获得的输入可能比这一句话多得多。

界面上的同一句话,交给模型的输入也一定相同吗?

历史对话、产品指令、记忆内容和工具结果,都可能成为额外输入。比较两次回答时,可以一起查看这些背景条件。

为什么同一个模型,换个产品回答就不一样?

产品负责组织输入和调用模型,也可能提供不同工具。即使模型相同,当前收到的信息和执行条件也可能不同。

04

生成

生成,是模型依据学到的规律和当前输入,逐步产生输出内容的过程。

以常见的语言模型为例,它会根据已有内容,反复预测接下来可能出现的片段,逐步组成回答。

AI 是在一个答案库里找标准答案吗?

通常不是。模型生成回答,与从数据库里取出一条完整答案不同。产品也可能先检索资料,再让模型结合资料生成回答。

每次输入一样的内容,大模型会回答一样的结果吗?

不一定。同一个要求往往有多种合理表达,生成过程也可能包含随机选择。另外,两次使用的模型版本、历史对话和工具结果也会影响回答。

既然是在预测,为什么能完成复杂任务?

模型在大量数据中学到了语言表达、知识联系和常见任务的规律。预测后续内容时,它会利用这些规律,因此能够完成回答问题、归纳信息等任务。

点击“重新生成”,是在让 AI 纠正错误吗?

“重新生成”通常是按当前条件再生成一次回答。如果希望修改某个地方,可以直接指出具体问题,再让 AI 调整。

回复时间越长,就说明思考越充分、答案越好吗?

回复时间受到网络、服务排队、输出长度和工具执行等因素影响。有些模型还会投入额外计算进行分析,因此等待时间会有差异。判断回答质量,可以看它是否解决了你的问题。

05

多模态

“模态”可以先理解为信息的形式,例如文字、图像、声音。多模态,就是能够处理多种信息形式。

一个模型可能同时接受文字和图片,也可能支持声音等输入。能接受哪些输入、能产生哪些输出,需要分别看。

所有模型都能看图、听声音吗?

不是。不同模型支持的信息形式不同,产品开放的功能也可能不同。是否能上传某类文件,还不能单独证明模型能够完整理解其中所有内容。

能读懂图片,就一定能生成图片吗?

理解图片是处理输入,生成图片是产生输出。模型具体支持哪种能力,可以查看产品提供的功能。

上传一个视频,AI 就能理解每个细节吗?

产品会通过画面、字幕或音轨等方式读取视频。可以先了解它读取了哪些内容,再提出相应的问题。

本章回顾

训练形成模型能力;对于已训练好的版本,日常回答时权重通常不变。系统为每次回答提供当前信息,模型结合这些输入生成结果。同一个要求可以有多种合理输出。

随堂小测

1. 日常聊天通常会即时修改所用模型版本的权重。
2. 同一句话发给同一个模型,每次回答一定逐字相同。
3. 模型的输入可能包含用户最新一句话之外的信息。