前言


习近平总书记在党的二十大报告中指出: 教育、科技、人才是全面建设社会主义现代化国家的基础性、战略性支撑。必须坚持科技是第一生产力、人才是第一资源、创新是第一动力，深入实施科教兴国战略、人才强国战略、创新驱动发展战略，这三大战略共同服务于创新型国家的建设。报告同时强调: 推动战略性新兴产业融合集群发展，构建新一代信息技术、人工智能、生物技术、新能源、新材料、高端装备、绿色环保等一批新的增长引擎。
当前，人工智能日益成为引领新一轮科技革命和产业变革的核心技术。其中，智能优化作为一种重要的计算方法，其在大模型调参、控制系统设计、工业调度、软件工程等实际应用中，已经展现出独特优势和巨大潜力。该类问题通常需要耗费大量时间和成本的模拟或实验，导致极高的计算成本。以广泛应用于自然语言处理、音频分析和计算机视觉中的大模型超参调优任务为例，人们希望在提高模型精度的同时降低网络的复杂度或训练时间。对于大模型而言，模型的单次训练可能需要许多 GPU 计算天数（GPU Days）。
以超参数调优任务为例，较好的深度学习大模型应该具有较低的训练成本和较高的准确率，但实际很难找到一组超参数能够同时使这两个子目标达到最优。如果是大模型或超大模型训练，需要的评估代价会更高昂。如上述超参调优任务评估代价昂贵的多目标优化问题被称为昂贵的多目标优化问题。
面向求解昂贵的多目标问题的贝叶斯优化方法，本书围绕低维决策空间和高维决策空间中的串行函数评估、获取函数优化效率低、维度灾难和边界问题等关键问题，针对求解昂贵的多目标优化问题的贝叶斯优化方法展开四方面的研究。针对上述理论研究方法，本书还给出理论方法在一个真实昂贵的多目标优化问题数据集上的应用验证，以验证理论方法的有效性和可行性。
本书是演化学习与智能优化系列专著的第三部，作者的研究团队后续将及时梳理和归纳总结相关的最新成果，以系列图书的形式分享给读者。本书既可以作为大模型参数调优、演化学习、智能优化等领域的理论性教材，也可作为优化调度、决策智能、演化学习、智能系统等方面系统与产品研发重要的理论方法参考书。本书相关的内容资料（如算法、代码、数据集等）可在开源社区下载（下载地址可查阅THUAIR官网或者联系作者索取）。由于多目标贝叶斯优化是一个崭新的快速发展的研究领域，受限于作者的学识和知识的认知范围，书中错误和不足之处在所难免，衷心希望对我们的图书提出宝贵的意见和建议。
本书的相关工作受国家自然科学基金项目（No. 61673235、61175110、60875073、60575057）的持续资助支持。同时更要感谢在本书写作过程中，清华大学计算机科学与技术系智能技术与系统国家重点实验室陈小飞、张肖寒等同学对于书稿整理所付出的艰辛努力，以及王洪燕同学和北京航空航天大学合作研究者袁源教授在相关研究方向上的合作创新。没有各位团队成员的努力，本书无法以体系化的形式呈现在读者面前。

作者2024年5月于北京