app网站开发的特点昆山做网站好的

当前位置： 首页 > news >正文

app网站开发的特点,昆山做网站好的,网站转化微信小程序,网站标题的设置方法前言 此篇文章已经是本系列的第四篇文章#xff0c;意味着我们已经进入了Prompt工程的深水区#xff0c;掌握的知识和技术都在不断提高#xff0c;对于Prompt的技巧策略也不能只局限于局部运用而要适应LLM大模型的整体框架去进行改进休整。较为主流的LLM模型框架设计可以基…前言 此篇文章已经是本系列的第四篇文章意味着我们已经进入了Prompt工程的深水区掌握的知识和技术都在不断提高对于Prompt的技巧策略也不能只局限于局部运用而要适应LLM大模型的整体框架去进行改进休整。较为主流的LLM模型框架设计可以基于链式思考CoT、思维树 (ToT)和检索增强生成 (RAG)。其中RAG框架可以算得上是AI平台研发的老生常谈之一了因为无论是个人还是企业都想要培养出一个属于自己领域专业的AI。但伴随而来的问题不限于产生幻觉、缺乏对生成文本的可解释性、专业领域知识理解差以及对最新知识的了解有限。 相对于成本昂贵的“Post Train”或“SFT”解决办法最好的技术方案还就是基于RAG框架而设计RAG框架的核心就像是一位内置的智能搜索引擎能够精准地定位到与用户查询最相关的知识库内容或对话历史。这种能力使得RAG不只是回答问题而是通过创造丰富的提示prompt引导模型生成更加准确、信息丰富的输出。如何在保证模型效率的同时提高其在特定领域的精准度和可靠性又如何避免过度依赖检索内容确保生成的文本既新颖又具有创造性通过探索RAG框架及其精妙的Prompt策略我们不仅能够解锁大型语言模型的新潜能还能够为未来的AI研究和应用指明方向。随着本文深入我们将一起探索RAG框架背后的工作原理以及对应Prompt策略它将如何成为连接用户需求与海量数据之间桥梁的关键技术以及在实际应用中如何发挥出惊人的效能。 每篇文章我都会尽可能将简化涉及到垂直领域的专业知识转化为大众小白可以读懂易于理解的知识将繁杂的程序创建步骤逐个拆解以逐步递进的方式由难转易逐渐掌握并实践欢迎各位学习者关注博主博主将不断创作技术实用前沿文章。 RAG框架概述 想象一下当你在写一篇文章或解决一个问题时如果遇到了难题你会怎么做可能会去搜索引擎查找信息然后基于找到的信息来构建你的答案。这个过程其实很像是RAG框架在做的事情。化繁为简我们先来了解RAG到底是什么。先从字母意思开始理解RAG——Retrieval Augmented Generation正如其名是一种将检索Retrieval和生成Generation结合起来的技术。它首先从一个巨大的知识库中检索出与提出的问题最相关的信息然后基于这些信息来生成回答。这样做的好处是它允许模型不仅依赖其已有的知识还可以实时地利用外部数据来提供更准确、更丰富的回答。 整体来看可以拆分为三个结构:数据索引——数据检索——LLM生成整体架构如上述描述我们先以整体视角看RGA的流程如上图所示。可以通俗的来讲 检索阶段当用户提出一个问题时RAG先将这个问题作为查询搜索一个预先构建好的庞大数据库或知识库寻找最相关的信息。这就像是当你在谷歌上输入查询一样系统会返回与你的查询最匹配的结果。生成阶段一旦找到了最相关的信息RAG会使用这些信息作为线索或提示通过一个语言生成模型来构造回答。这个过程就像是基于你从搜索引擎得到的资料撰写一篇报告或回答一个问题。 现在我们来拆分RGA的每一个阶段所做的工作。 RGA框架流程 数据储备 整个数据储备的过程可以分为四个步骤首先是进行数据清洗。 数据清洗 需要转换为Embedding Model可以消化的格式我们面对的知识源可能包括多种格式如Word文档、TXT文件、CSV数据表、Excel表格甚至是PDF文件、图片和视频等都得转换为大语言模型可理解的纯文本数据。另外长本文还需要进行文本分割需要考虑两个因素1embedding模型的Tokens限制情况2语义完整性对整体的检索效果的影响。 句分割以”句”的粒度进行切分保留一个句子的完整语义。常见切分符包括句号、感叹号、问号、换行符等。固定长度分割根据embedding模型的token长度限制将文本分割为固定长度例如256/512个tokens这种切分方式会损失很多语义信息一般通过在头尾增加一定冗余量来缓解。 向量化embedding 我之前写过一篇基于向量数据库的推荐系统设计文章是有详细描述向量化这一过程的在深度学习火热的当下向量是一个无法逃避的概念也就是每一种事物都可以通过人为给他编码比如我们设计路段拥堵事件采用红黄绿是一个道理。物品可以通过Embedding模型映射到同一纬度 之后再进行存储以后备用计算相似度用于推荐。Embedding模型市场上已经存在很多了 模型名称描述获取地址ChatGPT-EmbeddingChatGPT-Embedding由OpenAI公司提供以接口形式调用。https://platform.openai.com/docs/guides/embeddings/what-are-embeddingsERNIE-Embedding V1ERNIE-Embedding V1由百度公司提供依赖于文心大模型能力以接口形式调用。https://cloud.baidu.com/doc/WENXINWORKSHOP/s/alj562vvuM3EM3E是一款功能强大的开源Embedding模型包含m3e-small、m3e-base、m3e-large等多个版本支持微调和本地部署。https://huggingface.co/moka-ai/m3e-baseBGEBGE由北京智源人工智能研究院发布同样是一款功能强大的开源Embedding模型包含了支持中文和英文的多个版本同样支持微调和本地部署。https://huggingface.co/BAAI/bge-base-en-v1.5 数据向量化后构建索引并写入数据库的过程可以概述为数据入库过程适用于RAG场景的数据库包括FAISS、Chromadb、ES、milvus等。 数据检索 我们还需要对user提出的问题进行向量编码和推荐系统设计的思路是一致的其实推荐商品和给用户推荐回答二者的行为模式是一致的。推荐系统本质上是在用户需求不明确的情况下 从海量的信息中为用户寻找其感兴趣的信息的技术手段。在博主写过的用户画像构建系统文章中有写到利用推荐系统作为下游服务通过整合用户信息、物品信息和用户历史行为推荐系统利用机器学习技术构建了个性化的用户兴趣模型。而给用户找答案的行为模式也是一样的将用户提出的问题转换为向量输入到向量数据库中进行数据检索。 常见的数据检索方法包括相似性检索、全文检索等根据检索效果一般可以选择多种检索方式融合提升召回率。当接收到一个用户查询如一个问题或关键词时RAG框架首先将这个查询转换为向量形式。这一步通常通过预训练的语言模型如BERT、GPT等完成以确保查询向量能够有效地捕捉查询的语义。 有了查询向量后RAG使用最近邻搜索算法在预构建的索引中找到与查询向量最相近的文档向量。这些最相近的向量代表了知识库中与查询最相关的信息。检索算法相当多种 - 相似性检索即计算查询向量与所有存储向量的相似性得分返回得分高的记录。常见的相似性计算方法包括余弦相似性、欧氏距离、曼哈顿距离等。 全文检索全文检索是一种比较经典的检索方式在数据存入时通过关键词构建倒排索引在检索时通过关键词进行全文检索找到对应的记录。 在RAG框架的实现中常见的技术和工具包括Elasticsearch、FAISSFacebook AI Similarity Search、AnnoyApproximate Nearest Neighbors Oh Yeah等这些工具专门为大规模数据检索和最近邻搜索设计能够有效支持RAG框架中的检索需求。 LLM生成 到了LLM生成这一步就比较简单了因为通过相似度索引获取到了最高成绩的数据接下来我们只需要通过返回的Knowledge生成出阶段性的Prompt就好了然后再返回给LLM语言大模型让LLM进行总结之后再返回给User。为了进一步提高检索的相关性和生成文本的准确度一些RAG模型实现了动态Prompt生成技术。这种方法通过分析初步检索的结果自动调整或生成新的Prompt以优化后续的检索和生成过程。这种反馈循环可以显著提高模型的性能。而且RAG模型允许用户对初步生成的Prompt进行评价或修改基于用户反馈进一步优化检索和生成的结果。 RAG 与微调 了解以上RAG框架以后有一定的NLP或者大模型语言基础的情况下我们不约而同会冒出一个新的想法RAG 与微调到底哪个才是最优解决方案呢。这个问题的答案并非一成不变它取决于多个因素包括具体的应用场景、资源的可用性、以及对模型性能的具体要求。 应用场景的差异 RAG框架特别适合于那些需要结合广泛知识库来生成答案或内容的场景。它通过检索与问题密切相关的信息并基于这些信息生成回答特别适用于信息检索、问答系统、内容推荐等领域。RAG的优势在于能够利用最新的、外部的信息源提供更新、更准确的回答。微调则适用于有大量标注数据的情况可以根据具体任务对预训练模型进行个性化调整。这适用于各种NLP任务如文本分类、情感分析、命名实体识别等。微调的优点是能够在特定的任务上达到很高的精度尤其是当预训练模型和微调任务高度相关时。 资源的可用性 RAG框架需要能够访问并处理大量的外部信息。这意味着它对计算资源和数据存储的要求相对较高。同时实现高效的信息检索机制也是RAG成功应用的关键。微调虽然也需要一定的计算资源但通常情况下资源的要求比RAG要低因为一旦模型被微调就不需要再实时检索外部信息。然而微调需要大量的标注数据来训练模型这在某些场景下可能是一个限制因素。 以实验来具体评测(摘Meta近期论文):使用三个流行的微调数据集 SQL, functional representation and GSM8K 并发现在对样本进行 RAG 增强与zero-shot样本进行微调时这三个数据集的精度都有多个百分点的提高。 蓝色是针对zero-shot推理进行微调时的情况绿色是针对检索增强提示进行微调时的情况带有来自训练集的检索增强示例。对于任何微调任务无论是否是知识密集型任务允许模型利用上下文学习和微调都会比仅仅微调零样本推理带来更好的性能。在一些情况下结合使用RAG和微调可能是一个更好的策略。 总言 随着人工智能领域的快速发展我们期待未来出现更多创新的技术这些技术将进一步提高NLP任务的处理能力为解决复杂的语言处理问题提供更多的可能性。同时这也意味着AI工程师和研究人员需要不断地学习新的模型、技术和方法以保持在这一动态发展的领域中的竞争力。我鼓励读者继续关注RAG、微调以及其他前沿的NLP技术和AI技术通过实验和探索找到最适合自己需求的解决方案。无论是在学术研究中还是在实际应用开发中不断地创新和尝试将是推动进步的重要动力。