AI 实践

做 AI 项目,先完成一个小验证

先判断一个小问题能否解决,再决定要把项目做多大。

一个 AI 项目的想法,往往从“能不能让模型帮忙做这件事”开始。但“看起来回答得不错”很难成为继续开发的依据。把目标缩小,明确输入和输出,再保存一组可以重复检查的例子,才更容易看清下一步。

把目标写成一个可以检查的句子

以整理学习笔记为例,“让 AI 帮我学习”太宽泛;“从一段笔记中提取三个核心概念,每个概念附一句原文依据”,就有了相对清楚的检查方式。这只是一个实验示例,并不意味着模型一定能稳定完成任务。

在开始之前,先写下三个问题:

  • 输入是什么:一段文字,还是一份带有标题和段落的文档?
  • 输出是什么:自由文本,还是字段固定的结构化结果?
  • 什么算失败:遗漏关键信息、增加原文没有的内容,还是格式无法读取?

保留样本,也保留失败

先准备少量自己能够逐条检查的材料,覆盖普通输入、很短的输入和信息不足的输入。开发时使用其中一部分,另外留一部分,在修改后再检查,避免只把提示词调整到适合熟悉的几个例子。

模型给出流畅的文字,并不能证明结论正确。如果要求输出原文依据,就应逐条回到原文核对。原文没有足够信息时,允许结果明确说明“信息不足”,比强行填满所有字段更有用。

每次只改一个主要变量

如果同时换模型、换提示词,又换输入材料,就很难解释结果为什么改变。小实验可以固定材料和检查标准,一次只调整一个主要因素,并记录模型标识、输入、提示词和输出。需要注意,同样的输入也可能得到不同结果,一次成功并不能代表稳定可用。

能解释为什么失败,才有依据决定下一步怎么改。

最后,用自己的话复述一次

完成小验证后,不急着做复杂的界面。先写下:这个实验解决了什么问题,在哪些例子上失败,还有什么没有验证。如果这些边界能够讲清楚,下一轮实践就有了更具体的起点。

这里记录的是一种学习和验证思路,没有附带真实项目的性能结论。真正应用时,还需要结合具体材料、成本和错误影响重新验证。

费曼日志 · AI 项目学习笔记
← 返回学习笔记