
Agentic AI
LLM 幻觉治不了,但能压到可控
LLM 一本正经地胡说是最危险的风险。幻觉没法彻底消除,但能靠约束、溯源、RAG 多管齐下把它压到可控范围。
2026年1月9日
Tag
共 7 篇文章带有此标签。返回全部文章

LLM 一本正经地胡说是最危险的风险。幻觉没法彻底消除,但能靠约束、溯源、RAG 多管齐下把它压到可控范围。

模型支持 Function Calling 不等于能用好。工程落地要处理工具描述、参数校验、错误恢复、多步编排,这些才是真正的难点。

Agent 评估比传统软件难得多。同样输入可能不同输出,需要任务级而非断言级的评估,靠 LLM as judge 加人工抽检的组合。

Agent 没记忆就像金鱼,每次对话从零开始。短期记忆管上下文,长期记忆靠向量检索,两者配合才能让 Agent 记住历史、积累经验。

写一句提示词让 LLM 干活,简单场景够用。复杂任务要结构化的提示框架,把角色、任务、约束、示例分层组织。

把文档丢给 LLM 问问题看起来简单,生产级 RAG 要走过查询改写、检索、重排、生成四级管线,每一级都有坑。

Agent 不是「能调工具的 LLM」,是规划、执行、反思的控制循环。这个循环才是 Agent 区别于普通 LLM 调用的本质。