第3 章大模型提示工程 随着人工智能技术的飞速发展,预训练模型已成为推动自然语言处理、计算机视觉和语 音识别等领域进步的重要力量。如何高效、精准地引导这些大模型生成符合期望的输出,已 成为人们共同面临的挑战。在此背景下,提示工程(promptenginering)应运而生。本章将 讲述提示工程的基本概念和主要类型,并探讨自动提示工程等。 3.提示工程概述 1 提示工程是指设计和优化与大模型交互的输入提示,以引导大模型生成所需的输出。这 些输入提示可以是文字、图像或其他形式的数据,一个精心设计的提示能够准确地引导大模型 理解用户的需求,从而生成更相关、更有用或更具创造性的回答。提示工程的核心在于通过精 心设计的提示词或指令,使大模型能够准确地理解用户的需求,并生成符合期望的回答或内 容。提示工程的目的是通过构建具有特定结构、内容或风格的提示,激发大模型内部的知识与 能力,使其能够生成贴切需求、高质量且富有针对性的输出。这一过程不仅涉及对大模型技术 原理的深入理解,还需要对用户意图、任务需求以及模型响应之间的关系具有敏锐的洞察力。 3.1 提示工程的优化方法 1. 为了获得更好的提示效果,通常提示工程采用以下几种优化方法。 .明确目标:在设计提示时,首先要清楚希望大模型完成什么任务,设定明确的目标。 这有助于引导大模型生成符合期望的输出。 .简洁明了:尽量使用简洁、清晰的语言编写提示词,避免不必要的复杂性。这有助 于减少大模型理解上的歧义,提高内容生成质量。 .提供上下文:在提示词中提供与任务相关的背景信息,有助于大模型更好地理解用 户的需求和背景。 .分步工作:将任务分解成小块,以获得更好的生成结果。 .迭代优化:提示工程需要多次尝试和调整,根据大模型的输出不断优化提示词,直 到达到满意的效果 。 提示工程有多种类型,以适应不同的应用场景和需求 。 .零样本提示:不提供任何示例或额外信息,仅通过任务描述来引导大模型生成输出。 .少样本提示:提供少量示例或额外信息,以帮助大模型更好地理解任务并生成 大模型技术与应用 输出。 .思维链提示:通过模仿人类推理的方式构建输入,引导大模型展开推理,提高需要 逻辑、计算和决策的任务的性能。 .思维树提示:结合多轮交互和思维链提示,形成树形结构的推理过程,这适用于更 复杂的决策和问题解决任务。 提示工程的应用范围广泛,从文本生成、图像创作到代码编制,几乎涵盖了所有可以通 过预训练模型进行自动生成的任务。通过精心设计的提示,人们能够引导大模型完成从简 单问答到复杂推理、从创意写作到专业建议等任务,极大地拓展人工智能技术的应用边界。 3.2 提示工程的应用场景 1. 下面介绍提示工程的一些典型应用场景。 1. 文案与内容创作 通过提示工程,用户可以引导大模型生成高质量的文案、文章和故事等内容。例如,在 广告创意、新闻报道和小说创作等领域,提示工程都发挥了重要作用。 【例题3-1】假设你是一名广告创意总监,正在为一家新推出的智能手表品牌“智时” 策划一场广告宣传活动。你希望生成一段吸引人的广告文案,能够突出智能手表的时尚设 计、健康监测功能和便捷支付特性,同时激发目标消费者的购买欲望。 【解】用户需求描述(提示设计): ①产品名称:智能手表。 ②品牌名称:智时。 ③产品特点: .时尚设计,适合各种场合佩戴。 .全面的健康监测功能,包括心率、血压和步数统计。 .支持NFC 便捷支付,让购物更加轻松。 ④广告文案要求:简洁明了,突出产品特点,激发购买欲望 。 大模型工具生成的广告文案 : 智时智能手表———你的时尚健康伴侣! 时尚设计,彰显个性风采! 智时智能手表以其独特的时尚设计,无论是商务会议 还是休闲时光,都能完美匹配你的每一套装扮,让你成为人群中的焦点! 全面健康监测,守护你的每一刻! 智时智能手表配备全面的健康监测功能,实时 监测你的心率、血压和步数,让你随时掌握自己的健康状况,活力满满迎接每一天! NFC 便捷支付,购物从此更轻松! 无须掏出手机或钱包,只需轻轻一碰,智时智 能手表即可完成支付,让你的购物体验更加便捷、高效 ! 智时智能手表———让生活更智能,让健康更时尚 ! 立即购买,开启你的智能健康生活新篇章 ! 第3章大模型提示工程 【例题3-2】在大模型工具的输入框中直接输入:“ 生成一篇描述百度发布文心一言的 新闻报道。” 【解】模型回复(篇幅较长,也可以限制字数): 百度发布文心一言,引领AI 新纪元 2023 年3月16 日,百度在北京总部召开新闻发布会,正式推出了其大语言模型——— 文心一言。这一发布标志着百度在生成式AI 技术上的重大突破,也为全球AI 技术的发 展注入了新的活力。 文心一言,英文名ERNIEBot,是百度基于文心大模型技术推出的生成式对话产品。 该产品不仅具备强大的自然语言处理能力,还能理解并生成符合人类语境的文本内容。 通过与用户的交互,文心一言能够不断学习和优化,提供更加精准、智能的服务。百度创 始人、董事长兼首席执行官李彦宏在发布会上表示,文心一言是百度在AI 领域深耕多年 的结晶,其发布是百度在生成式AI 技术上的重要一步。 在发布会现场,李彦宏展示了文心一言在文学创作、商业文案创作、数理推算、中文理 解和多模态生成等多个领域的卓越能力。例如,在文学创作场景中,文心一言能够根据对 话问题总结知名科幻小说《三体》的核心内容,并提出续写建议;在商业文案创作场景中, 文心一言能够顺利完成给公司起名、写Slogan、写新闻稿等任务。此外,文心一言还具备 了一定的思维能力,能够学会数学推演及逻辑推理等相对复杂任务。 李彦宏还提到,文心一言的训练数据包括万亿级网页数据、数十亿的搜索数据和图片 数据、百亿级的语音日均调用数据,以及5500 亿事实的知识图谱等,这使得文心一言在中 文语言的处理上处于独一无二的位置。同时,文心一言的推出也将极大地降低人工智能 赋能千行百业的门槛,推动产业升级和变革。 自去年3月16 日发布以来,文心一言的用户规模迅速增长。据百度首席技术官王海 峰在百度世界2024 大会上透露,文心一言的用户规模已达到4.这一数字不仅体现 了文心一言的强大吸引力,也彰显了百度在AI 领域的领先地位。 3亿, 文心一言的推出也引起了业界的广泛关注。已有超过650 家企业宣布接入文心一言 生态,利用这一技术提升业务效率和服务质量。在教育科普领域,中国科学技术馆与百度 达成战略合作,共同开发了“科技馆智能体”,利用人工智能技术为科普教育注入新活力。 在体育领域,文心一言等人工智能技术辅助国家队备战训练,为运动员夺金争银提供科技 支撑。 随着文心一言等生成式AI 技术的不断发展和应用,AI 技术将为社会经济发展带来 更大的价值。百度作为AI 领域的领军企业,将继续秉持创新、开放、合作的理念,推动AI 技术的发展和应用,为全球用户和企业提供更加智能、便捷、高效的服务。 文心一言的发布不仅是百度的一次技术展示,更是对全球AI 领域的一次重大贡献。 它让机器能够像人一样理解、思考和表达,预示着AI 技术将广泛应用于各个领域,推动 社会进步和发展。未来,随着文心一言等生成式AI 技术的不断迭代和优化,我们有理由 相信,AI 技术将为人类社会的发展和进步贡献更多的智慧和力量。 2. 代码生成 利用提示工程,可以让大模型根据用户的需求自动生成相应的代码片段。这在编写程 大模型技术与应用 序、软件开发和自动化编程等领域具有广泛应用前景。 【例题3-3】假设你是一名Python语言初学者,正在学习编写简单程序。若需要实现 一个功能:随机生成3个数,找到其中最大的数并输出结果。 【解】你可以设计提示词并借助大模型工具自动生成Python代码,以下是具体的步 骤和生成的代码示例。 用户需求描述(提示设计): ①随机生成3个数。 ②找到它们中间最大的数并输出结果 。 大模型工具自动生成的代码片段如图3-1所示 。 图3- 1 代码生成 3. 问答系统 在智能客服、虚拟助手等场景中,提示工程被用于优化问答系统的回复质量和效率。通 过精心设计的提示词,大模型可以更好地理解用户的问题,并生成准确、有用的回答。 【例题3-4】在智能客服的应用场景中,假设用户遇到了一个关于账户余额查询的问 题,他们可能会这样提问:“ 我账户里还有多少钱?” 为了优化问答系统的回复质量和效率, 可以通过提示工程来引导模型更准确地理解和回答这类问题。 【解】用户提问:“ 我账户里还有多少钱?” 提示设计: ①请确认用户想要查询的是哪个账户的余额(如储蓄账户、信用卡账户等)。 ②从用户的历史数据中提取相关信息,以确保提供的是最新、最准确的余额信息。 ③以清晰、简洁的方式回答,直接给出账户余额的数值,并附上货币单位 。 优化后的模型回复 : 您好,根据您提供的信息, 56 元。请问您还有其他需 您储蓄账户的当前余额为1234. 要查询或了解的信息吗 ? 第3章大模型提示工程 4. 特定任务处理 针对特定任务或领域,提示工程可以设计专门的提示词,以引导大模型生成符合任务要 求的输出。例如,在图像识别、自然语言理解等领域,提示工程都发挥了重要作用。 【例题3-5】在图像识别领域的特定任务处理中,提示工程可以提升模型的准确性和 效率。若有一任务“识别并标注医学影像中的肿瘤区域” 。 【解】原始输入一张包含肺部CT 扫描图像的医学影像 。 提示设计 : ①请仔细分析图像,识别出所有可能的肿瘤区域。 ②标注时,请使用红色边框来圈出肿瘤区域,并确保边框紧贴肿瘤边缘。 ③对于每个标注的肿瘤区域,请提供其大致的尺寸(如直径)和位置信息(如位于左肺 上叶)。 ④如果图像中不存在肿瘤区域,请明确标注“未见肿瘤” 。 优化后的模型回复 : 图像中已识别出两个肿瘤区域,已用红色边框标注 。 第一个肿瘤区域位于左肺上叶,直径约为2. 5厘米 。 第二个肿瘤区域位于右肺下叶,直径约为1. (如果图像中不存在肿瘤)未见肿瘤。 8厘米 。 3.零样本提示 2 零样本提示(zero-shotprompting)是提示工程中最基础,也是最具挑战性的一种形式。 它在没有任何与当前任务直接相关的训练数据支持下,仅凭模型在预训练阶段积累的知识 和泛化能力来理解和响应给定的提示。这种模式下,设计者需要构造出既简洁明了又能准 确传达任务意图的语句,引导模型“无中生有”,直接生成符合预期的输出。 2.零样本提示的内涵 3.1 零样本提示是指在与大模型交互时,提示词中不包含任何示例,模型仅根据提示词中的 提示以及预训练的固有知识生成内容或回答问题。也就是通过提供明确的任务指令,激发 模型在预训练过程中学到的广泛知识和语义理解能力来生成答案。这一过程看似简单,实 则蕴含着深厚的科学原理和技术挑战。首先,模型需要具备强大的语言理解能力,能够准确 解析提示中的意图。这要求模型在预训练阶段接触过大量多样化的数据,从而学习到语言 的复杂结构和深层含义。其次,模型还需具备出色的生成能力,能够根据理解的意图,创造 出符合逻辑、连贯且富有创意的输出。 零样本提示的核心在于“直接”与“高效”。它跳过了传统机器学习中的样本标注、模型 微调等步骤,直接利用大模型在海量数据上预训练得到的广泛知识和深刻理解,实现快速和 大模型技术与应用 准确的响应。这种方式的魅力在于其灵活性和通用性,使得模型能够应对各种未知任务,大 大拓宽了应用边界。 零样本提示的有效性很大程度上取决于模型训练数据的范围和质量。一个训练充分、 数据丰富的大模型,能够更好地理解和生成语言,从而在零样本提示下表现出强大的泛化能 力。同时,模型对语言和概念的理解程度也是关键因素。只有深刻理解语言背后的意义和 逻辑,模型才能在接收到零样本提示时,迅速调动相关知识,生成准确的回答。 2.零样本提示的优化策略 3.2 尽管零样本提示具有诸多优势,但其实现过程中面临着一些挑战。首先,如何构造出既 简洁又有效的提示是一个难题。提示过于简单可能导致模型无法准确理解意图,而过于复 杂则可能增加模型的处理负担。其次,模型在零样本提示下的表现往往受其预训练数据和 训练方式的影响较大,不同模型之间的性能差异可能很大。最后,零样本提示的可靠性问题 也不容忽视,模型在某些情况下可能会生成不准确或不合逻辑的输出。为了克服这些挑战, 人们提出了多种优化策略。 1. 提示工程 通过精心设计和优化提示内容,提高模型的响应准确性和效率。这包括选择合适的词 汇、句式和结构,以及利用上下文信息来增强提示的明确性。 2. 模型融合 结合多个模型的优势,提高零样本提示的鲁棒性和准确性。例如,可以通过集成学习的 方法,将多个模型在零样本提示下的输出进行融合或对其进行筛选,得到可靠的答案。 3. 可解释性 通过增加模型的可解释性,使其能够更好地理解和解释零样本提示的输出。这可以通 过可视化模型内部状态、提供输出依据或引入外部知识等方式实现。 4. 自适应学习 虽然零样本提示不依赖于特定任务的数据集,但模型仍然可以通过在相关任务上的自 适应学习来提高其性能。这包括利用少量标注数据进行快速微调,或者通过元学习的方法 来提高模型对新任务的适应能力。 3.3 零样本提示的应用场景 2. 零样本提示因其高效、灵活和通用的特点,在众多领域展现出广泛的应用潜力。 1. 文本生成 在文本生成任务中,零样本提示能够激发模型的创造力,生成生动、具体的场景描述、故 第3章大模型提示工程 事和对话等。例如,通过提示“请描述一个秋日黄昏的森林景象”或“请描述一个夏日傍晚的 海边景象”,模型能够综合运用其语言理解和生成能力,创造出一个充满诗意的画面。这在 内容创作、广告文案和小说写作等方面具有很大的应用价值。 【例题3-6】在大模型工具的输入框中输入:“ 写一个关于夏天的故事。” 【解】模型回复如下。 在一个被阳光拥抱的小镇上,夏天总是来得格外早,也格外热烈。这个小镇名叫晨光 镇,因为它坐落在一片广袤的平原上,每当清晨的第一缕阳光穿透薄雾,整个镇子就像被 镀上了一层金边,温暖而明媚。 故事的主角是一个叫林浅的女孩,她有着一头乌黑的长发和一双仿佛能说话的大眼 睛。夏天对她来说,不仅仅是炎热的季节,更是充满无限可能的冒险时光。林浅的家位于 小镇的边缘,紧邻着一片郁郁葱葱的小树林和一条清澈见底的小溪。那是她童年的秘密 基地,也是她夏日探险的起点。 随着蝉鸣的日益响亮,林浅和她的三个好朋友———小杰、艾米和胖虎,决定开展一场 寻找“夏日宝藏”的冒险。据说,在小镇的最北端,隐藏着一个古老的宝藏,只有真正勇敢 且心怀纯真的人才能找到它。虽然大人们总是笑着摇头,认为这只是个传说,但对孩子们 来说,这却是比任何冰淇淋都要吸引人的夏日奇遇。 他们四人组成了“夏日探险队”,每天清晨当第一缕阳光照亮小镇时,便带着自制的地 图、水壶和满满的好奇心出发。他们穿过长长的玉米田,绕过懒洋洋晒太阳的老牛,甚至 还勇敢地跨过那座看起来摇摇欲坠的木桥。每一步都充满了新奇与挑战,也让他们之间 的友情更加坚固。 一天,当他们在一片被阳光照耀得闪闪发光的草地上休息时,林浅突然发现了一张旧 旧的羊皮纸,上面画着一些奇怪的符号和指向。这似乎是一张真正的宝藏地图! 孩子们 的眼睛瞬间亮了起来,兴奋得几乎要跳起来。他们决定跟随地图的指引,继续深入未知的 区域。 经过一番艰难险阻,包括迷路、遇到蜜蜂窝以及差点被一场突如其来的夏雨淋湿,他 们终于来到了地图的终点———一个被茂密树木环绕的小小山洞。洞内凉爽宜人,中央摆 放着一个古老的木箱,上面覆盖着岁月的痕迹。 当林浅小心翼翼地打开木箱,里面没有金银财宝,而是满满一箱信件、照片和一些旧 物件。原来,这所谓的“宝藏”是一位已故的老船长留下的记忆宝盒,记录着他年轻时航海 的点点滴滴,以及对家乡的深深思念。虽然没有找到预期中的财富,但这份意外的发现让 孩子们感受到了更加珍贵的东西———关于梦想、勇气与爱的故事。 夕阳西下,他们带着这份珍贵的“宝藏”踏上了回家的路。虽然夏天的热度依旧,但他 们的心中却充满了前所未有的清凉与满足。那个夏天,不仅让他们体验了探险的乐趣,更 重要的是,他们学会了珍惜身边的一切,以及那些能够与之共享欢笑与泪水的朋友。 在晨光镇,夏天的故事永远不会结束,它像那条永远流淌的小溪,带着欢笑与梦想,流 向远方。 结果分析:这个由大模型工具生成的关于夏天的故事,在主题明确性、情节丰富性、角 大模型技术与应用 色塑造、语言风格、情感表达、创意与独特性以及完整性等方面都表现出色。它不仅为读者 提供了一个有趣且富有教育意义的阅读体验,也展示了大模型工具在故事生成方面的潜力 和优势。 思考题:“ 请创作一首关于秋天的短诗。” 分析:这个提示要求模型生成一首与秋天相关的短诗,但并未提供任何关于诗歌风格、 韵律或具体内容的指导。模型需要依靠其在预训练阶段学习到的诗歌结构、语言韵律以及 关于秋天的常识性知识来构思并创作出一首符合要求的短诗。这完全依赖于模型的创造力 和对语言的理解能力,是零样本提示的一个典型应用。 2. 问答系统 在问答系统中,零样本提示使得模型能够直接回答用户的问题,而无须事先准备大量问 答对其进行训练。这大大提高了问答系统的灵活性和效率。例如,用户询问“中国的首都是 哪里”时,模型能够直接给出“北京”作为答案。 【例题3-7】在大模型工具的输入框中输入:“ 太阳系的第八颗行星是哪颗星?” 【解】模型回复如下。 在太阳系的辽阔空间里,八大行星按照它们与太阳的距离排列着,各自演绎着独特的 故事。而当我们谈及太阳系的第八颗行星时,答案便是那遥远而神秘的海王星。 海王星,这颗蓝色的巨行星,位于太阳系的边缘,是离太阳最远的大行星。它以其深 邃的蓝色和强大的风暴而闻名,这些风暴在太阳系中堪称最为强烈,风速有时甚至能达到 每小时2100 千米以上。海王星的大气层以氢和氦为主,还含有微量的甲烷,正是这些甲 烷分子散射了阳光中的蓝光,赋予了海王星那迷人的蓝色外观。 从体积和质量上看,海王星虽然不是太阳系中最大的行星,但它在直径上是第四大行 星,质量上则是第三大行星。尽管它的亮度仅为7.使得我们在夜空中难以用肉眼 85 等, 直接观察到它,但借助天文望远镜,我们仍然能够领略到它那遥远而壮丽的身影。 海王星的发现也是天文学史上的一段佳话。与许多其他行星不同,海王星是通过数 学预测而非有计划的观测发现的。这一成就不仅展示了人类智慧的力量,也为我们揭开 了太阳系边缘的神秘面纱。 在太阳系的八大行星中,海王星以其独特的位置和特性占据着重要的地位。它不仅 是太阳系中最远离太阳的行星,也是我们对太阳系边缘探索的起点。随着科技的进步,我 们对海王星以及整个太阳系的了解也将不断深入,继续书写着人类探索宇宙的壮丽篇章。 所以,当被问及太阳系的第八颗行星时,我们可以自豪地回答:那是遥远而神秘的海 王星。 结果分析:这个由AIGC 工具生成的关于太阳系第八颗行星(海王星)的描述,在准确 性、详尽性、语言风格、结构、教育性和独特性等方面都表现出色。它不仅为读者提供了准确 且丰富的科学知识,还通过生动的描述和独特的观点激发了读者对宇宙探索的兴趣和好 奇心。 思考题:“ 谁是《哈利·波特》系列小说的作者?” 分析:在这个提示中,模型被要求回答一个关于文学作品的作者的问题。模型没有事 第3章大模型提示工程 先接触过关于《哈利·波特》系列小说的任何特定训练数据,但它必须利用其在预训练阶段 积累的大量关于文学作品、作者及其作品的知识来正确回答这一问题。这考验了模型对知 识的存储和检索能力,以及它在零样本提示下的响应准确性。 3. 情感分析 在情感分析任务中,零样本提示可以引导模型对文本进行情感分类。通过简单的提示, 如“将文本分类为积极、中立或消极”,模型就能够根据文本内容判断其情感倾向。 【例题3-8】判断以下评论是正面还是负面? (1)这个软件的界面设计很复杂,新手很难上手。 (2)这个手机的电池续航太差了,一天要充好几次电。 (3)这本书写得深入浅出,让我对这个主题有了更深的理解。 (4)这部电影真的太棒了,剧情紧凑,演员演技出色! (5)这家餐厅的服务态度真差,等了半个小时都没人理我们 。 【解】模型回复如下 。 (1)“ 这个软件的界面设计很复杂,新手很难上手。”———负面。 评论指出软件的界面设计复杂,新手难以掌握,这是对产品用户体验的不满,因此是 负面评论。 (2)“ 这个手机的电池续航太差了,一天要充好几次电。”———负面。 评论表达了对手机电池续航能力的强烈不满,认为需要频繁充电,这是对产品性能的 不满,因此是负面评论。 (3)“ 这本书写得深入浅出,让我对这个主题有了更深的理解。”———正面。 评论赞扬了书籍的写作风格和内容深度,表示读者从中获得了深入的理解,这是对产 品内容的肯定,因此是正面评论。 (4)“ 这部电影真的太棒了,剧情紧凑,演员演技出色!”———正面。 评论对电影的整体表现给予了高度评价,认为剧情紧凑且演员演技出色,这是对产品 质量的赞赏,因此是正面评论。 (5)“ 这家餐厅的服务态度真差,等了半个小时都没人理我们。”———负面。 评论对餐厅的服务态度表示了强烈的不满,认为等待时间过长且无人服务,这是对产 品服务的不满,因此是负面评论。 结果分析:大模型工具对提供的5条评论进行的正面或负面判断效果良好。它不仅准 确地判断了每条评论的情感倾向,还提供了合理的解释,与人们的直观感受一致,并展现较 强的语言理解能力和广泛的应用潜力。 思考题:“ 请判断句子‘今天天气真好,阳光明媚。’表达的情感是积极、消极还是中 立的”。 分析:这个提示要求模型对给定的句子进行情感分类。模型没有接受过关于这个特定 句子的任何训练,但它必须依靠其在预训练阶段学习到的情感词汇、语境理解以及情感分类 的知识准确判断句子的情感倾向。这展示了模型在零样本提示下对语言情感的理解和分类 能力。 大模型技术与应用 4.文本摘要 在文本摘要任务中,零样本提示可以指示模型对长文本进行概括和提炼,生成简洁明了 的摘要。这在信息检索、新闻报道等领域有着广泛的应用。对于信息爆炸的今天来说,无疑 是一种极具价值的能力。 【例题3-9】提取下面这段文字的关键词,并且生成摘要。 2024年诺贝尔物理学奖的获得者是霍普菲尔德(JohnJ.Hopfield)和辛顿(GeofreyE.Hinton)。他们因“在实现使用人工神经网络进行机器学习方面的基础性发现和发明” 而获得这一殊荣。 霍普菲尔德,1933年出生于美国伊利诺伊州芝加哥市,现为美国新泽西州普林斯顿 大学教授。他的工作主要集中在人工神经网络的理论基础和应用,特别是在机器学习方 面有着重要的贡献。 辛顿,1947年出生于英国伦敦,现为加拿大多伦多大学教授。他在机器学习和深度 学习领域有着显著的成就,特别是在使用物理工具发展机器学习方法方面做出了重要 贡献。 这两位科学家的工作不仅推动了人工智能的发展,也为机器学习和深度学习的广泛 应用奠定了基础。他们的研究成果在学术界和工业界都产生了深远的影响,极大地促进 了人工智能技术的进步。 【解】模型回复如下。 关键词:2024年诺贝尔物理学奖,霍普菲尔德,辛顿,人工神经网络,机器学习。 摘要:2024年诺贝尔物理学奖授予了霍普菲尔德和辛顿,以表彰他们在使用人工神 经网络进行机器学习方面的基础性发现和发明。霍普菲尔德是美国普林斯顿大学教授, 主要贡献在机器学习的理论基础和应用。辛顿是加拿大多伦多大学教授,在机器学习和 深度学习领域有显著成就。 5.语言翻译 虽然传统的机器翻译需要大量的平行语料库进行训练,但零样本提示可以引导模型进 行简单的翻译任务。模型可以利用在预训练阶段学习到的语言知识、语法规则和语义理解 能力,在没有直接相关的翻译数据的情况下,根据输入的源语言文本,生成目标语言文本。 【例题3-10】假设你正在使用一个支持零样本提示的翻译模型,并且你想要将一段英 文文本翻译成中文。由于你没有提供任何具体的翻译示例或数据,但模型已经通过预训练 掌握了足够多的语言知识和翻译能力。 【解】输入文本(英文):“Helo,howareyoutoday? ” 零样本提示:“PleasetranslatethefolowingsentencefromEnglishtoChinese. ” 输出文本(中文):“你好,你今天怎么样? ” 结果分析:在零样本提示的指引下,翻译模型会利用其预训练阶段学习到的英文和 中 第3章大模型提示工程 文的语言知识、语法规则以及语义对应关系,对输入的英文文本进行翻译。对于你提供的英 文句子“Helo,howareyoutoday?”,模型会生成相应的中文翻译。 6.创意激发 创意激发是指通过特定的方法或工具,刺激个体的创造力和想象力,从而催生新颖、独 特且富有价值的想法、概念或解决方案。在设计、艺术或创意写作等领域,零样本提示可以 作为创意激发的工具。通过给模型提供模糊的或开放的提示,可以激发模型生成新颖、独特 的想法或概念。 【例题3-11】假设你是一名平面设计师,正在为一家新成立的科技公司设计标志。你 希望这一标志能够既体现公司的科技属性,又具有一定的独特性和辨识度。解释你利用零 样本提示作为创意激发工具的创作过程。 【解】你向模型提供了一个模糊的提示:“一个结合了未来感与简洁美的科技符号。” 这个提示没有给出具体的图形、颜色或字体等细节要求,而是提供了一个开放的方向,让模 型能够自由地发挥和创造。 模型在接收到这个提示后,可能会开始生成一系列与“未来感”和“简洁美”相关的概念, 如流线型的线条、几何图形的组合、特定的色彩搭配等。这些生成的概念可能会激发你的灵 感,让你想到一个将科技元素与简洁美学完美结合的标志设计。你可能会设计一个由几个 简洁的几何图形(如圆形、三角形)以流线型方式组合而成的标志,这些图形通过特定的排列 和颜色搭配,既传达出科技的动感与前瞻性,又保持了设计的简洁和美观。 通过这个过程,零样本提示成功地激发了你的创造力,帮助你产生了一个新颖且独特的 标志设计概念。这就是零样本提示在创意激发中的一个应用案例。 以上例题或思考题都充分体现了零样本提示的核心概念,模型在没有直接相关训练数 据的情况下,依靠预训练阶段积累的知识和泛化能力来理解和响应各种不同类型的提示。 这要求模型具备强大的语言理解能力、知识存储和检索能力,以及根据提示生成符合要求的 输出能力。 3.4 零样本提示与迁移学习的关系 2. 零样本提示是自然语言处理的一种技术,其核心在于模型能够在没有直接相关训练数 据的情况下,根据给定的提示或指令完成任务。这通常依赖于模型在预训练阶段学到的广 泛知识和泛化能力。而迁移学习是一种机器学习方法,旨在将从一个任务(源任务)中学到 的知识迁移到另一个相关任务(目标任务)中。这通常用于解决目标任务训练数据不足或标 注数据稀缺的问题。 零样本提示与迁移学习二者之间的关系如下。 1.知识迁移的基础 零样本提示可以看作是迁移学习的一种特殊应用。在零样本提示中,模型利用在预训 练阶段学到的知识(源任务)来理解和响应新的、未见过的提示(目标任务),这实际上是一种 知识的迁移过程。 大模型技术与应用 2. 泛化能力的体现 迁移学习的关键在于模型的泛化能力,即模型能否将学到的知识有效地应用到新任务 中。而零样本提示正是对模型泛化能力的一种考验,因为它要求模型在没有直接相关训练 数据的情况下完成任务。 3. 应用场景的互补 零样本提示和迁移学习在应用场景上存在一定的互补性。在某些情况下,即使目标任 务有少量的标注数据,但由于数据稀缺或标注成本高,直接使用这些数据训练模型可能效果 不佳。此时,可以通过迁移学习引入源任务的知识,并结合零样本提示来指导模型完成 任务。 4. 技术实现的联系 在技术实现上,零样本提示和迁移学习都依赖模型在预训练阶段学到的广泛知识和泛 化能力。这些知识和能力为模型在面对新任务时提供了有力的支持。 例如,以自然语言处理中的文本分类任务为例,假设有一个预训练好的语言模型,该模 型在大量文本数据上进行了训练,并学到了丰富的语言知识和泛化能力。现在,有一个新的 文本分类任务,但标注数据非常稀缺。此时,可以利用迁移学习的方法,将预训练模型学到 的知识迁移到新的文本分类任务中。同时,还可以通过零样本提示的方式,给模型提供一些 简单的指令或提示,指导模型如何利用学到的知识来完成分类任务。这样,即使在标注数据 稀缺的情况下,模型也能通过迁移学习和零样本提示的结合取得较好的分类效果。 总之,零样本提示和迁移学习在知识迁移、泛化能力、应用场景和技术实现等方面都存 在紧密的关系。它们相互补充、相互促进,共同推动了自然语言处理和人工智能相关领域的 发展。零样本提示和迁移学习各有特点,它们适用于不同的场景和需求。例如,在标注数据 稀缺或任务变化频繁的场景下,零样本提示可能更具优势;而在需要充分利用已有知识和数 据、提高模型泛化能力的场景下,迁移学习则可能更为合适。 3.少样本提示 3 尽管大模型展现了惊人的零样本能力,但是当它们在使用零样本提示时,面对较复杂的 任务表现仍然不佳。此时,少样本提示(e-htprtn可被视为一种解决方案。这种 fwsoompig) 技术通过提供少量的样本启用上下文学习,以帮助模型更好地理解新的任务和数据 。 3.1 少样本提示的内涵 3. 相较于零样本提示,少样本提示为模型提供了一定数量的示例作为参考,这些示例通常 与待生成内容在类型、风格或主题上相似。通过这种方式,模型可以在这些示例的引导下, 更好地理解任务要求,并模仿示例的风格和内容生成准确且结构合理的回应。因此,少样本 第3章大模型提示工程 提示降低了模型理解任务的难度,提高了生成结果的准确性和多样性。 少样本提示是一种通过向模型提供少量示例来引导其理解和执行特定任务的方法。这 种方法利用模型在大量数据中学习到的通用知识,通过精心设计的提示,使模型能够从少数 示例中推断出模式,并泛化到未见过的输入任务中。 少样本提示主要基于大模型或深度学习模型在预训练阶段所积累的大量知识和泛化能 力,以下是少样本提示的详细解释。 1. 预训练阶段的知识积累 在预训练阶段,模型通过处理大量的文本数据,学习了语言的统计规律、语法结构和语 义信息等。这一过程使得模型具备了对语言的深刻理解和泛化能力,即模型能够根据已学 到的知识对新的输入数据进行推断和生成。 2. 少样本学习的核心思想 少样本学习的核心思想是通过向模型展示少量的示例,使模型能够快速理解任务的要 求,并生成符合期望的输出。这些示例为模型提供了一个模板或框架,模型可以根据这个模 板来推断和生成新的输出。 3. 模型对示例学习与泛化 当模型接收到少量的示例时,它会分析这些示例的输入和输出之间的关系,提取出任务 的关键特征。然后,模型会利用其在预训练阶段学到的知识,将这些关键特征应用到新的输 入数据上,从而生成符合期望的输出。这一过程实现了模型的快速适应和泛化能力。 4. 示例的质量与多样性 少样本提示的效果受到示例质量和多样性的影响。高质量的示例能够更准确地反映任 务的要求,使模型更容易理解和学习。同时,示例的多样性也很重要,它能够帮助模型接触 到不同的语境和情境,提高模型的泛化能力。 【例题3-12 】判断以下句子是否包含正面情感。 少样本提示: 句子:“ 今天的天气真好,阳光明媚!”→包含正面情感。 句子:“ 这部电影太无聊了,我不想再看一遍。”→不包含正面情感。 请判断以下句子是否包含正面情感。 句子:“ 我刚刚完成了一个非常有趣的项目,感觉很有成就感。” 【解】根据提供的示例,模型学会了判断句子是否包含正面情感。在这个例子中,模型 会判断给出的句子包含正面情感。 3.2 少样本提示的工作原理 3. 少样本提示的工作原理是基于模型的先验知识和从示例中学习的能力。通过提供2~ 10 个示例,模型能够识别任务的关键特征和逻辑,从而生成准确的输出。示例的顺序和结 大模型技术与应用 构对于模型的理解和任务的执行至关重要 。 少样本提示的工作原理可以概括为以下三点 。 1.示例引导 通过向模型展示少量的示例,这些示例涵盖了任务所需的输入和输出格式,从而帮助模 型理解任务的目标和输出要求。 2.泛化能力 通常模型具有强大的泛化能力,能够通过少量的示例学习到任务的关键特征,并应用于 新的输入数据上。 3.语言或数据理解 模型在预训练阶段已经积累了大量的语言或数据知识,少样本提示能够激活这些知识, 使模型能够快速适应并执行新的任务。 少样本提示的变体包括零样本提示和一次样本提示。零样本提示仅向模型展示一个提 示,没有示例,要求模型生成回应。一次样本提示则向模型展示一个示例。这两种变体之间 的主要区别在于向模型展示多少个示例,而少样本提示通常指的是展示多个示例。 【例题3-13】将以下英文句子翻译成中文。 少样本提示: 英文:“Helo,howareyou?”→中文:“你好,你怎么样?” 英文:“Iamfine,thankyou.”→中文:“我很好,谢谢。” 请将以下英文句子翻译成中文: 英文:“Howwasyourday?” 【解】根据提供的示例,模型学会了将英文句子翻译成中文。在这个例子中,模型会翻 译出:“你今天过得怎么样?” 3.3 少样本提示的应用场景 3. 少样本提示在多个应用场景中表现出色,尤其是在需要模型理解并生成结构化输出时。 例如,在客户反馈分类任务中,通过向模型展示几个积极或消极的反馈示例,模型能够学会 将新的反馈分类为积极反馈或消极反馈。以下是一些典型的应用场景。 1.文本分类 在情感分析、新闻分类等任务中,通过向模型展示少量的示例,模型能够学会将新的文 本分类到正确的类别中。例如,在情感分析任务中,通过展示几个积极和消极的评论示例, 模型能够学会将新的评论分类为积极评论或消极评论。 【例题3-14】判断以下新闻标题是关于政治还是经济的。 少样本提示: 新闻标题:“政府推出新政策,加强环境保护。”→政治。 第3章大模型提示工程 新闻标题:“ 央行降息,股市大涨。”→经济 。 请判断以下新闻标题是关于政治还是经济的 : 新闻标题:“ 教育部发布新规定,加强在线教育监管。 ” 【解】根据提供的示例,模型学会了判断新闻标题是关于政治还是经济的。在这个 例 子中,模型会判断给出的新闻标题是关于政治的。 2. 信息抽取 在经济分析、知识图谱构建等任务中,通过向模型展示少量的示例,模型能够学会从文 本中提取关键信息并以结构化的格式输出。例如,在经济分析任务中,通过展示几个提取姓 名和职业的示例,模型能够学会从报纸文章中提取相关信息。 【例题3-15 】从以下文本中提取人名和职业 。 少样本提示 : 文本:“ 张三是一名教师,他在学校里教书育人。”→人名:张三,职业:教师 。 文本:“ 李四是一名医生,他在医院里治病救人。”→人名:李四,职业:医生 。 请从以下文本中提取人名和职业 : 【 文本:“ 王五是一名律师,他在律师事务所为客户提供法律服务。 ” 解】根据提供的示例,模型学会了从文本中提取人名和职业。在这个例子中,模型会 提取出:“ 人名:王五,职业:律师”。 3. 语言生成 在诗歌创作、故事生成等任务中,通过向模型展示少量的示例,模型能够学会生成符合 特定风格或结构的新文本。例如,在诗歌创作任务中,通过展示几首风格相似的诗歌示例, 模型能够学会生成具有相同风格的诗歌。 【例题3-16 】根据以下主题和风格生成一段文本 。 少样本提示 : 主题:春天 。 风格:清新自然 。 示例文本 : 春天的阳光洒在大地上 , 万物复苏 , 一片生机勃勃的景象 。 小草从土里探出头来 , 花朵在阳光下绽放 , 散发出迷人的香气 。 请根据以下主题和风格生成一段文本: 主题:秋天。 风格:宁静祥和。 【解】根据提供的示例,模型学会了根据主题和风格生成文本。在这个例子中,模型可 大模型技术与应用 能会生成: 秋天的阳光温柔地洒在大地上 , 万物开始收获 , 一片宁静祥和的景象 。 树叶在风中轻轻飘落 , 果实挂满枝头 , 散发出诱人的香味 。 4. 复杂推理 虽然少样本提示在处理复杂推理任务时可能表现不佳,但通过结合思维链等策略,模型 仍然能够学会执行一些复杂的推理任务。例如,在判断一组数字中的奇数加起来是否为偶 数的任务中,通过结合思维链和少样本提示,模型能够学会正确的推理步骤并给出正确 答案。 【例题3-17 】判断以下一组数字中的奇数加起来是否为偶数。 少样本提示: 数字组:“1,3,5”→奇数加起来为奇数(1+3+5=9)。 数字组:“7,9,11,13”→奇数加起来为偶数(7+9+11+13=40 )。 请判断以下一组数字中的奇数加起来是否为偶数: 数字组:“17,19,21”。 【解】根据提供的示例,模型学会了判断一组数字中的奇数加起来是否为偶数。在这 个例子中,模型会判断给出的数字组中奇数加起来为奇数(17+19+21=57 )。 3.4 少样本提示的优势与局限 3. 少样本提示的优势在于它能够通过少量的示例使模型快速适应并执行新的任务,从而 降低了对大量标注数据的需求。这一策略在实际应用中能够提高模型的灵活性和泛化能 力,并降低数据收集和标注的成本。 然而,少样本提示也存在一些局限。首先,在处理复杂推理任务时,少样本提示可能表 现不佳,需要结合其他策略,如思维链等来提高性能。其次,少样本提示的效果受到示例质 量和数量的影响,需要提供高质量的示例并确保示例的多样性。最后,少样本提示的效果还 受到模型预训练阶段接触到的数据特征的影响,如果示例集中的数据与模型预训练阶段接 触到的数据特征不匹配,可能会影响模型的性能。 3.思维链提示 4 思维链提示是一种基于人工智能的方法,通过模拟人类思维的连贯性和逻辑性,显著提 高了大模型在复杂推理任务上的性能。本节讲述思维链提示的基本概念、优化策略、应用场 第3章大模型提示工程 景以及挑战和限制等多方面内容,并辅以丰富的例子来加深理解。 4.思维链提示的内涵 3.1 思维链提示(ChainofThoughtPrompting,CoTP)作为大模型提示工程的一种重要方 法,旨在模拟人类思维的连贯性与逻辑性。它构建模型以模拟人类面对问题时的思考过程, 生成一系列相关的思维环节,形成一个连贯的思维链。这个思维链可以包含问题分析、解决 方案推导以及相关经验和知识等,帮助人们更好地理解和解决复杂的问题。 思维链提示的原理是基于神经网络模型的预测与生成能力。通过海量文本与数据的学 习,模型掌握了语言的语法、语义及逻辑规律。当接收输入时,它能预测并生成与输入相关 的下一个思维环节,这一过程可以迭代多次,从而形成连贯的思维链。 作为一种提示策略,思维链提示旨在提升模型的逻辑推理与复杂问题解决能力。它要 求模型在生成最终答案前,先逐步展开思考,将复杂任务分解为一系列子问题并逐一解答。 这种策略鼓励模型“说出”其思考路径,不仅提高了输出的透明度,还有助于模型自我检查, 降低错误率。以数学解题为例,思维链提示会引导模型先列出已知条件,再逐步推导出中间 结论,最后给出最终答案,确保解题过程的逻辑性与正确性。 通常人类在解决问题时往往遵循逐步分析的方式,如解数学题会先列公式、再计算、最 后得出答案。然而,大模型在处理复杂问题时可能会忽略中间步骤,直接给出答案,这可能 导致结果不准确。思维链提示则通过提示词引导模型分步骤给出答案,模拟人类的分步逻 辑推理过程。相较于直接回答,这种方式不仅提升了答案的准确性,还增强了用户的可解 释性。 【例题3-18 】请对比大模型对同一问题的普通提示和思维链提示。 【解】(1)普通提示: 问题:一个农场有50 头牛,每头牛每天喝10 升水。10 天后,这些牛一共喝了多少升 水? 回答:5000 升。 (2)思维链提示: 问题:一个农场有50 头牛,每头牛每天喝10 升水。10 天后,这些牛一共喝了多少升 水? 请分步骤回答。 ①明确每头牛每天的饮水量为10 升。 ②计算10 天内每头牛的总饮水量为10×10=100 升。 ③根据农场有50 头牛,得出总饮水量为50×100=5000 升。 通过对比可见,思维链提示促使大模型通过明确的中间推理步骤给出答案,使结果更加 条理清晰、可信度高。而普通提示下,大模型往往仅给出简短结论,缺乏中间推理过程,这可 能导致面对复杂问题时答案出错或存在缺陷,同时也不利于用户理解和接受。 4.思维链提示的优化策略 3.2 为了进一步提高思维链提示的性能,可以采取以下优化策略。 大模型技术与应用 1. 数据收集和分析 收集和分析大量与任务相关的数据,以了解问题的本质和规律。这些数据可以作为生 成定制化思维链提示的基础。 2. 模型训练和调优 采用思维链提示技术,基于已有的心理学知识和咨询经验来训练一个模型。该模型可 以学习和理解心理咨询的基本原理、问题解决方法和有效的咨询策略。通过不断调优模型 参数和结构,提高其在特定任务上的性能。 3. 提示生成和优化 根据任务需求和用户特点,生成定制化的思维链提示。这些提示可以包括问题的分析、 解决方案的推导、相关的经验和知识等。同时,通过不断收集和分析用户反馈和数据,对提 示进行持续优化和更新。 4. 资源优化 在生成中间步骤时,可能会增加计算和内存需求。为了优化资源使用,可以采取模型量 化、动态批处理、资源分配策略和后处理策略等措施。例如,通过模型量化将模型参数从浮 点数转换为低位宽度的表示,减少模型大小和内存占用。 4.思维链提示的应用场景 3.3 思维链提示在人工智能技术中的应用场景非常广泛,以下的例子旨在展示其在不同领 域和场景下的应用效果。 1. 数学计算 通常数学计算任务涉及多个步骤,如分组计算、逻辑推导和总量统计等。使用思维链提 示,可以引导模型按照每一步逻辑逐步推导答案,避免因为跳过关键步骤而导致错误。 【例题3-19 】一个班级有30 个学生,其中男生20 人,女生10 人。每个男生有3本书, 每个女生有5本书。一共多少本书? 【解】普通提示:直接给出答案。 思维链提示: (1)确定问题需要分别计算男生和女生拥有的书本数量,然后求和。 (2)男生有20 人,每人3本书,因此男生的书本总数为20×3=60 。 (3)女生有10 人,每人5本书,因此女生的书本总数为10×5=50 。 (4)将两部分书本总数相加,60+50=110 。 通过思维链提示,模型可以逐步推导答案,而不是直接给出一个结果。这种方法不仅提 高了答案的准确性,还增强了推理的透明度和可解释性。 第3章大模型提示工程 2. 常识推理 常识推理任务涉及对日常生活常识的理解和应用。思维链提示可以帮助模型在推理过 程中引入常识性知识,从而得出更合理的答案。 【例题3-20 】为什么水会沸腾? 【解】普通提示:直接询问水沸腾的原因。 思维链提示: (1)理解水沸腾是一个加热过程。 (2)水的沸点是100 摄氏度(在标准大气压下)。 (3)推理出当水温达到沸点时,水分子间的活动增加,开始产生大量气泡。 (4)得出结论:水沸腾是因为水温达到了沸点,水分子间的活动增加导致气泡产生。 通过思维链提示,模型在推理过程中引入了常识性知识,从而得出合理、准确的答案。 3. 金融应用 在金融领域中,思维链提示可以帮助模型对复杂的金融数据进行推理和分析,从而辅助 决策。 【例题3-21 】分析一家公司的财务状况并预测其未来盈利能力。 【解】思维链提示: (1)收集并整理公司的财务报表和相关数据。 (2)分析公司的收入、利润、资产和负债等关键财务指标。 (3)使用财务比率分析(如盈利能力比率、流动比率、速动比率等)来评估公司的财务 状况 ( 。 4)基于以上分析,预测公司未来的盈利能力并给出建议。 通过思维链提示,模型可以逐步对公司的财务状况进行深入分析,并给出合理的预测和 建议。这种方法在金融领域具有广泛的应用前景,可以帮助投资者、分析师和企业管理者更 好地理解和应对市场变化。 4. 医疗应用 在医疗领域中,思维链提示可以帮助模型对医疗数据进行推理和分析,从而辅助医生进 行诊断和治疗。 【例题3-22 】分析一位患者的病史和检查结果,给出初步诊断和建议。 【解】思维链提示: (1)收集并整理患者的病史和检查结果。 (2)根据病史和检查结果分析患者可能存在的疾病或健康问题。 (3)使用医学知识和经验进行推理和判断,排除不可能的诊断。 (4)给出初步诊断和建议,供医生参考。 通过思维链提示,模型可以逐步对患者的病史和检查结果进行深入分析,并给出合理的 初步诊断和建议。这种方法在医疗领域具有重要的应用价值,可以帮助医生提高诊断的准 确性和效率。 大模型技术与应用 5. 教育应用 在教育领域中,思维链提示可以帮助模型对学生的学习问题进行推理和分析,从而提供 个性化的辅导和建议。 【例题3-23 】分析一位学生在数学学习中的困难点,并提供辅导建议。 【解】思维链提示: (1)收集并整理学生的数学学习记录和作业情况。 (2)根据学生的学习记录和作业情况分析可能存在的困难点。 (3)使用数学知识和教学经验进行推理和判断,确定学生的薄弱环节。 (4)针对学生的薄弱环节提供个性化的辅导建议和学习资源。 通过思维链提示,模型可以逐步分析学生的学习问题,并提供个性化的辅导和建议。这 种方法在教育领域中具有很好的推广价值,可以帮助教师更好地了解学生的学习情况,并提 供有针对性的辅导和支持。 6. 文本理解 文本理解任务涉及从大段文字中提取关键信息和主旨,思维链提示能帮助模型通过分 解段落内容,逐步识别主题、具体细节和结论。对于长篇文章,可以逐段分析,最终合成完整 的总结。例如在科学论文、政策分析等场景中,思维链提示有助于提取核心观点,减少遗漏。 【例题3-24 】从以下段落中提取主要观点:“ 气候变化正在影响全球的生态系统。许 多物种因为温度变化而面临灭绝风险,人类必须采取行动减缓这种趋势。” 【解】思维链提示: (1)该段落的主题是“气候变化”。 (2)它具体讨论了气候变化如何影响生态系统,并指出温度变化增加了物种灭绝的 风险 ( 。 3)段落最后建议人类采取措施来减缓气候变化带来的负面影响。 7. 文学创作 在文学创作中,思维链提示引导模型先明确主题,再设计结构,最后生成内容。这样能 确保生成的内容既有逻辑又富有美感。在写作教学、文化创意等领域,分步骤的创作指导能 有效提升生成文本的质量和连贯性,避免因直接生成导致的主题偏离或不连贯。 【例题3-25 】写一首关于春天的诗 。 【解】思维链提示 : (1)明确主题:春天的特征是万物复苏、花开草长。 (2)设计诗的结构:分四行,依次描绘花开、风暖、雨润和鸟鸣。 (3)最终创作:“ 花开迎春风 , 雨润大地浓 。 枝头鸟歌唱 , 万物焕新容。 ”