
引言
大型语言模型(LLMs)在响应中偏爱使用“华丽”且有时过于冗余的语言。提出一个简单的问题,你很可能会收到大量过于详细、冗长且复杂的段落。这种常见行为源于它们的训练过程——模型被优化为尽可能提供有帮助且具对话性的响应。
遗憾的是,冗余度是一个需要密切关注的重要问题,而且通常被认为与一个主要问题的发生概率增加相关:幻觉。响应中生成的文字越多,偏离既有知识、陷入“编造艺术”的可能性就越高。
总之,我们需要强大的护栏来防范这种双重问题,首先从冗余度检查入手。本文将展示如何使用Textstat Python库测量可读性,并在响应到达最终用户之前检测出过于复杂的内容,迫使模型优化其响应。
使用Textstat设定复杂度预算
Textstat Python库可用于计算诸如自动可读性指数(ARI)之类的分数;该指数用于估计理解一段文本(如模型响应)所需的年级水平(学习阶段)。如果这个复杂度指标超过了预算或阈值——例如10.0,相当于10年级的阅读水平——就可以自动触发重新提示循环,要求模型给出更简洁、更简单的响应。这种策略不仅能消除华丽冗余的语言,还可能有助于降低幻觉风险,因为模型会因此更严格地遵循核心事实。
实现LangChain管道
让我们看看如何实现上述策略,并将其集成到一个可在Google Colab笔记本中轻松运行的LangChain管道中。你需要一个Hugging Face API令牌,可在https://huggingface.co/settings/tokens免费获取。在Colab左侧菜单中,点击“Secrets”图标(形似钥匙),创建一个名为HF_TOKEN的新“密钥”。将生成的API令牌粘贴到“Value”字段中,即可完成设置!
首先,安装必要的库:
!pip install textstat langchain_huggingface langchain_community
以下代码是Google Colab专用的,如果你在其他环境中工作,可能需要相应调整。代码重点在于获取存储的API令牌:
from google.colab import userdata
# 获取保存在Colab会话密钥中的Hugging Face API令牌
HF_TOKEN = userdata.get('HF_TOKEN')
# 验证令牌获取情况
if not HF_TOKEN:
print("警告:未找到'HF_TOKEN'令牌。这可能会导致错误。")
else:
print("Hugging Face令牌加载成功。")
在下面的代码中,我们执行多个操作。首先,通过预训练的Hugging Face模型(具体为distilgpt2)设置本地文本生成的组件。之后,将该模型集成到LangChain管道中。
import textstat
from langchain_core.prompts import PromptTemplate
# 导入用于本地Hugging Face管道的必要类
from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline
from langchain_community.llms import HuggingFacePipeline
# 初始化一个免费、适合本地运行且兼容的文本生成LLM
model_id = "distilgpt2"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id)
# 创建文本生成管道
pipe = pipeline(
"text-generation",
model=model,
tokenizer=tokenizer,
max_new_tokens=100,
device=0 # 若有GPU则使用,否则默认使用CPU
)
# 将管道包装到HuggingFacePipeline中
llm = HuggingFacePipeline(pipeline=pipe)
接下来实现我们用于测量和管理冗余度的核心机制。以下函数会对传入的文本(假设是LLM的响应)生成摘要,并努力确保该摘要不超过设定的复杂度阈值。需要注意的是,当使用合适的提示模板时,像distilgpt2这样的生成模型可以用于生成文本摘要,尽管其摘要质量可能不如更重量级、专注于摘要任务的模型。我们选择该模型是因为它在受限环境中可可靠地本地运行。
def safe_summarize(text_input, complexity_budget=10.0):
print("\n--- 开始摘要过程 ---")
print(f"输入文本长度:{len(text_input)} 个字符")
print(f"目标复杂度预算(ARI分数):{complexity_budget}")
# 步骤1:生成初始摘要
print("生成初始完整摘要...")
base_prompt = PromptTemplate.from_template(
"对以下内容提供完整的摘要:{text}"
)
chain = base_prompt | llm
summary = chain.invoke({"text": text_input})
print("初始摘要已生成:")
print("-------------------------")
print(summary)
print("-------------------------")
# 步骤2:测量可读性
ari_score = textstat.automated_readability_index(summary)
print(f"初始ARI分数:{ari_score:.2f}")
# 步骤3:强制执行复杂度预算
if ari_score > complexity_budget:
print("预算超出!初始摘要过于复杂。")
print("触发简化护栏...")
simplification_prompt = PromptTemplate.from_template(
"以下文本过于冗余。请用简洁的语言重写,"
"去除华丽冗余的表达:\n\n{text}"
)
simplify_chain = simplification_prompt | llm
simplified_summary = simplify_chain.invoke({"text": summary})
new_ari = textstat.automated_readability_index(simplified_summary)
print("简化摘要已生成:")
print("-------------------------")
print(simplified_summary)
print("-------------------------")
print(f"修订后ARI分数:{new_ari:.2f}")
summary = simplified_summary
else:
print("初始摘要在复杂度预算范围内,无需简化。")
print("--- 摘要过程完成 ---")
return summary
还需注意,上述代码中通过计算ARI分数来估计文本复杂度。
代码示例的最后部分测试了之前定义的函数,传入示例文本和10.0的复杂度预算,并打印最终结果。
# 1. 提供一段高度冗余、复杂的示例文本
sample_text = """
大型语言模型领域内,认知计算数组之间密不可分的排列组合,
往往会催生一系列不必要的复杂词汇结构。这种迂回表述的倾向,
虽然表面上显示出深厚的学识,却常常掩盖了核心的语义信息,
从而使得生成的论述对典型的普通大众而言,可理解性大幅降低。
"""
# 2. 调用函数
print("运行摘要器管道...\n")
final_output = safe_summarize(sample_text, complexity_budget=10.0)
# 3. 打印最终结果
print("\n--- 最终经过护栏处理的摘要 ---")
print(final_output)
生成的打印信息可能会相当长,但你会发现调用预训练模型进行摘要后,ARI分数会有小幅下降。不过,不要期望奇迹般的效果:我们选择的模型虽然轻量,但并不擅长文本摘要,因此ARI分数的降低幅度会比较温和。你可以尝试使用其他模型(如google/flan-t5-small)来观察它们在文本摘要中的表现,但需要注意——这些模型会更重量级,运行难度也更大。
总结
本文展示了如何构建一套基础设施,通过在批准响应的复杂度之前调用辅助模型对其进行摘要,从而测量和控制LLM过度冗余的响应。在许多场景中,幻觉是高冗余度的副产品。虽然本文展示的实现重点在于评估冗余度,但也有一些特定的检查可用于测量幻觉——例如语义一致性检查、自然语言推理(NLI)交叉编码器,以及“LLM作为评判者”的解决方案。
推荐学习书籍 《CDA一级教材》适合CDA一级考生备考,也适合业务及数据分析岗位的从业者提升自我。完整电子版已上线CDA网校,累计已有10万+在读~ !



雷达卡





京公网安备 11010802022788号







