楼主: CDA网校
198 0

LLM的护栏:测量AI的“幻觉”与冗余度 [推广有奖]

管理员

已卖:189份资源

泰斗

16%

还不是VIP/贵宾

-

威望
3 级
论坛币
162498 个
通用积分
19649.3146
学术水平
373 点
热心指数
385 点
信用等级
348 点
经验
250226 点
帖子
8022
精华
23
在线时间
4605 小时
注册时间
2019-9-13
最后登录
2026-11-20

初级热心勋章

楼主
CDA网校 学生认证  发表于 2026-5-20 15:59:47 |AI写论文

+2 论坛币
k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群
赵安豆老师微信:zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

感谢您参与论坛问题回答

经管之家送您两个论坛币!

+2 论坛币

引言

大型语言模型(LLMs)在响应中偏爱使用“华丽”且有时过于冗余的语言。提出一个简单的问题,你很可能会收到大量过于详细、冗长且复杂的段落。这种常见行为源于它们的训练过程——模型被优化为尽可能提供有帮助且具对话性的响应。

遗憾的是,冗余度是一个需要密切关注的重要问题,而且通常被认为与一个主要问题的发生概率增加相关:幻觉。响应中生成的文字越多,偏离既有知识、陷入“编造艺术”的可能性就越高。

总之,我们需要强大的护栏来防范这种双重问题,首先从冗余度检查入手。本文将展示如何使用Textstat Python库测量可读性,并在响应到达最终用户之前检测出过于复杂的内容,迫使模型优化其响应。

使用Textstat设定复杂度预算

Textstat Python库可用于计算诸如自动可读性指数(ARI)之类的分数;该指数用于估计理解一段文本(如模型响应)所需的年级水平(学习阶段)。如果这个复杂度指标超过了预算或阈值——例如10.0,相当于10年级的阅读水平——就可以自动触发重新提示循环,要求模型给出更简洁、更简单的响应。这种策略不仅能消除华丽冗余的语言,还可能有助于降低幻觉风险,因为模型会因此更严格地遵循核心事实。

实现LangChain管道

让我们看看如何实现上述策略,并将其集成到一个可在Google Colab笔记本中轻松运行的LangChain管道中。你需要一个Hugging Face API令牌,可在https://huggingface.co/settings/tokens免费获取。在Colab左侧菜单中,点击“Secrets”图标(形似钥匙),创建一个名为HF_TOKEN的新“密钥”。将生成的API令牌粘贴到“Value”字段中,即可完成设置!

首先,安装必要的库:

!pip install textstat langchain_huggingface langchain_community

以下代码是Google Colab专用的,如果你在其他环境中工作,可能需要相应调整。代码重点在于获取存储的API令牌:

from google.colab import userdata

# 获取保存在Colab会话密钥中的Hugging Face API令牌
HF_TOKEN = userdata.get('HF_TOKEN')

# 验证令牌获取情况
if not HF_TOKEN:
    print("警告:未找到'HF_TOKEN'令牌。这可能会导致错误。")
else:
    print("Hugging Face令牌加载成功。")

在下面的代码中,我们执行多个操作。首先,通过预训练的Hugging Face模型(具体为distilgpt2)设置本地文本生成的组件。之后,将该模型集成到LangChain管道中。

import textstat
from langchain_core.prompts import PromptTemplate
# 导入用于本地Hugging Face管道的必要类
from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline
from langchain_community.llms import HuggingFacePipeline

# 初始化一个免费、适合本地运行且兼容的文本生成LLM
model_id = "distilgpt2"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id)

# 创建文本生成管道
pipe = pipeline(
    "text-generation", 
    model=model, 
    tokenizer=tokenizer, 
    max_new_tokens=100,
    device=0 # 若有GPU则使用,否则默认使用CPU
)

# 将管道包装到HuggingFacePipeline中
llm = HuggingFacePipeline(pipeline=pipe)

接下来实现我们用于测量和管理冗余度的核心机制。以下函数会对传入的文本(假设是LLM的响应)生成摘要,并努力确保该摘要不超过设定的复杂度阈值。需要注意的是,当使用合适的提示模板时,像distilgpt2这样的生成模型可以用于生成文本摘要,尽管其摘要质量可能不如更重量级、专注于摘要任务的模型。我们选择该模型是因为它在受限环境中可可靠地本地运行。

def safe_summarize(text_input, complexity_budget=10.0):
    print("\n--- 开始摘要过程 ---")
    print(f"输入文本长度:{len(text_input)} 个字符")
    print(f"目标复杂度预算(ARI分数):{complexity_budget}")

    # 步骤1:生成初始摘要
    print("生成初始完整摘要...")
    base_prompt = PromptTemplate.from_template(
        "对以下内容提供完整的摘要:{text}"
    )
    chain = base_prompt | llm
    summary = chain.invoke({"text": text_input})
    print("初始摘要已生成:")
    print("-------------------------")
    print(summary)
    print("-------------------------")

    # 步骤2:测量可读性
    ari_score = textstat.automated_readability_index(summary)
    print(f"初始ARI分数:{ari_score:.2f}")

    # 步骤3:强制执行复杂度预算
    if ari_score > complexity_budget:
        print("预算超出!初始摘要过于复杂。")
        print("触发简化护栏...")
        simplification_prompt = PromptTemplate.from_template(
            "以下文本过于冗余。请用简洁的语言重写,"
            "去除华丽冗余的表达:\n\n{text}"
        )
        simplify_chain = simplification_prompt | llm
        simplified_summary = simplify_chain.invoke({"text": summary})

        new_ari = textstat.automated_readability_index(simplified_summary)
        print("简化摘要已生成:")
        print("-------------------------")
        print(simplified_summary)
        print("-------------------------")
        print(f"修订后ARI分数:{new_ari:.2f}")
        summary = simplified_summary
    else:
        print("初始摘要在复杂度预算范围内,无需简化。")

    print("--- 摘要过程完成 ---")
    return summary

还需注意,上述代码中通过计算ARI分数来估计文本复杂度。

代码示例的最后部分测试了之前定义的函数,传入示例文本和10.0的复杂度预算,并打印最终结果。

# 1. 提供一段高度冗余、复杂的示例文本
sample_text = """
大型语言模型领域内,认知计算数组之间密不可分的排列组合,
往往会催生一系列不必要的复杂词汇结构。这种迂回表述的倾向,
虽然表面上显示出深厚的学识,却常常掩盖了核心的语义信息,
从而使得生成的论述对典型的普通大众而言,可理解性大幅降低。
"""


# 2. 调用函数
print("运行摘要器管道...\n")
final_output = safe_summarize(sample_text, complexity_budget=10.0)

# 3. 打印最终结果
print("\n--- 最终经过护栏处理的摘要 ---")
print(final_output)

生成的打印信息可能会相当长,但你会发现调用预训练模型进行摘要后,ARI分数会有小幅下降。不过,不要期望奇迹般的效果:我们选择的模型虽然轻量,但并不擅长文本摘要,因此ARI分数的降低幅度会比较温和。你可以尝试使用其他模型(如google/flan-t5-small)来观察它们在文本摘要中的表现,但需要注意——这些模型会更重量级,运行难度也更大。

总结

本文展示了如何构建一套基础设施,通过在批准响应的复杂度之前调用辅助模型对其进行摘要,从而测量和控制LLM过度冗余的响应。在许多场景中,幻觉是高冗余度的副产品。虽然本文展示的实现重点在于评估冗余度,但也有一些特定的检查可用于测量幻觉——例如语义一致性检查、自然语言推理(NLI)交叉编码器,以及“LLM作为评判者”的解决方案。

推荐学习书籍 《CDA一级教材》适合CDA一级考生备考,也适合业务及数据分析岗位的从业者提升自我。完整电子版已上线CDA网校,累计已有10万+在读~ !

免费加入阅读:https://edu.cda.cn/goods/show/3151?targetId=5147&preview=0

二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

关键词:LLM Transformers simplified Complexity Generation

您需要登录后才可以回帖 登录 | 我要注册

本版微信群
扫码
拉您进交流群
GMT+8, 2026-11-21 03:38