5.1算法艺术与人造生命 5.2机器学习与AI绘画 5.3网络艺术与遥在艺术 5.4虚拟现实与全息表演 5.5数字孪生与替身秀 5.6信息与数据库艺术 5.7机器人表演艺术 5.8机器人与智能装置 讨论与实践 练习及思考 第5课 人工智能、机器人与表演 当代社会面临着5G、机器学习、情境感知、脑机接口、智能机器人技 术的爆炸式增长。人工智能是推动当代数字媒体发展和艺术创新的引擎。基 于GAN对抗算法，AI绘画、智能聊天机器人、智能写诗作曲等AIGC（人 工智能生产的内容）已经成为当下艺术与科技的突破点和社会关注的焦点。 本课重点为智能算法、拓展现实以及机器人表演，并以机器学习与编程算法 为核心，对算法艺术与人工生命、数字孪生、AI绘画、机器人表演、信息 与数据库艺术等进行深入的探讨。 Yylzw.indd 103 2023.9.26 3:01:58 PM 艺术与科技导论——创新实践十二课 5.1 算法艺术与人造生命 算法艺术可以算是当今火爆的生成式人工智能艺术的远祖。20 世纪90 年代初，前卫艺术家通 过AI 软件的开发与研究，将遗传算法的原理应用到计算机绘图的实践中。英国艺术家威廉·莱瑟姆、 美国艺术家卡尔·西姆斯和日本艺术家河口洋一郎是该领域的第一批探索者和实践者。威廉·莱瑟 姆是著名遗传算法艺术家。他早年学习艺术和计算机，毕业后曾在IBM 从事图形算法视觉化的工作。 在20 世纪80 年代，他与数学家斯蒂芬·托德合作，开发了名为“变异器”（Mutator ）的软件，可 以模拟生物进化和变异过程（图5-1）。 图5-1 莱瑟姆的遗传算法艺术（左）和“变异器”（右） 通过设计物理和生物规则（如光线、颜色、重力、成长和进化），莱瑟姆创建了虚拟自然世界。 艺术家在他创造的虚拟世界里变成园丁，像植物育种家培育花儿一样选择和培育品种。莱瑟姆通过 杂交、变异、选择和繁育来创造新的生命形式。他将这个工作的目的描述为研究一个“由美学驱动 的进化过程”。莱瑟姆的“有机艺术”的动画和印刷作品曾在日本、德国、英国和澳大利亚展出并引 起轰动。如果CG 软件的表现能力代表了开辟新的美学景观的机会，那么卡尔·西姆斯研发的CG 伊 甸园中的花花草草和“有机动画”则清晰形象地说明了这种可能性。作为人工生命领域的先驱，西 姆斯花费了10 多年时间，用遗传算法开发出了具有艺术表现力的交互程序，这些艺术形式让人想起 达尔文的自然选择理论。西姆斯早年在麻省理工学院学习生命科学并获得学位，随后在麻省理工学 院媒体实验室从事研究工作并创办了GenArts 公司。西姆斯通过制作一系列充满想象力和令人惊叹 的CG 动画短片被好莱坞电影界所青睐。他早在1990 年的计算机动画作品《胚种论》（Panspermia， 104 Yylzw.indd 104 2023.9.26 3:01:59 PM 第5课 图5-2 ）中就通过遗传算法展示了一个丰富多彩的虚拟伊甸园。《胚种论》认为地球上的生命起源于 外层空间的微生物或生命的化学前体，并通过彗星等介质传播到史前地球，并开始生命进程。在这 部计算机动画中，西姆斯展现了一粒太空种子在地球上开花结果，最终繁衍生命的历程。 图5-2 西姆斯的计算机动画《胚种论》的截图 1993 年，他在巴黎蓬皮杜中心展出了名为《遗传学图像》的交互装置。观众可以通过计算机 屏幕选择2D 图形，经过基因重组与突变后，最终呈现的是结合人类的选择与偏爱以及人造基因的 混合体。1997 年，西姆斯在日本东京展出了其最著名和最雄心勃勃的装置艺术作品《加拉帕戈斯》 （Galapagos，图5-3）。该作品的寓意是达尔文在1835 年考察南美加拉帕戈斯群岛，受当地不寻常 的野生动物启发产生其自然选择和生物进化的想法。在展览中，观众可以通过选择虚拟生物品种， 让计算机遗传算法程序来实现后代的“遗传和变异”，由此诠释“自然选择”和“进化”的关系。 该作品是一个由12 个交互式监视器组成的矩阵。每个监视器除了有自己的界面外，还有一个可以 通过脚控制的地板垫，允许观众在虚拟空间中生成逐渐复杂的3D “虚拟生物”。西姆斯的软件可以 通过“遗传算法”执行“虚拟生物”的随机变异，改变“虚拟生物”的颜色、形状和纹理等。观众 可以根据自己的美学选择，优选出“更美丽”的后代。西姆斯对“人工生命”的探索启发了诸如日 本teamLab 等新媒体创作团体，成为当下交互式人造动物园或人造植物园的开山鼻祖。今天，诸如 阿纳斯塔西娅·雷纳等StyleGAN 艺术家通过机器学习来推演生物进化与变异的研究，被看作西姆 斯20 世纪90 年代工作的延续与创新。 遗传算法在“虚拟生态学”领域也展示出了影响力。1994 年，艺术家克利斯塔·佐梅雷尔和劳 伦特·米尼奥诺通过遗传算法创作了一个艺术装置Life Spacies Ⅱ（图5-4）。观众可以通过触摸的 方式在计算机显示器上画出一个2D 图形，随后一个形如水母的3D 生物便畅游在一个装满水的玻 璃池中。生物的形状、活动与行为完全由观众在显示器上画出的2D 图形转化而来的基因密码所决定。 生物一旦创造出来，就开始在池中与其他以同样方式生成的虚拟生物共同生存（夺食、交配、成长）。 观众还可以触摸水中的生物，影响它们的活动，与池中的生物产生互动。观众还可以通过互联网来“认 领”或“饲养”他们喜爱的水族生物。这个作品成为西姆斯的《加拉帕戈斯》之后，计算机模拟生 态学最成功的作品，已被德国卡尔斯鲁厄艺术与媒体中心（ZKM ）永久收藏。 105 Yylzw.indd 105 2023.9.26 3:02:00 PM 艺术与科技导论——创新实践十二课 图5-3 西姆斯的装置艺术作品《加拉帕戈斯》 图5-4 艺术家克利斯塔·佐梅雷尔和劳伦特·米尼奥诺的交互装置Life Spacies Ⅱ 106 Yylzw.indd 106 2023.9.26 3:02:01 PM 第5课 从1992 年至今，佐梅雷尔和米尼奥诺已经创作了一系列象征性的作品，这些作品都是以遗传 学和人工生命为中心的新媒体艺术代表作，其优点是将各自的知识体系编织在一起，以便为艺术、 自然和生活引入不同的观察方法。这两位艺术家在他们的装置中发展了“艺术作为生活系统”的概 念，并将之定义为“真实与虚拟实体之间复杂的相互关联和互动的桥梁”。佐梅雷尔从小对生物学， 特别是植物学有着浓厚的兴趣。她期待通过计算机将植物的生长动力学与其形态学建立联系，由此 寻找自然进化的规律，并期望能够在艺术、计算机和植物学之间建立起一座桥梁，而“遗传艺术” 则给了她实现自己愿望的机会。20 世纪90 年代初，她加入了法兰克福新媒体学院，和米尼奥诺相 识并合作，后者在计算机编程、视频和计算机艺术方面的强项与她形成了优势互补。2004 年，他们 在奥地利林茨电子艺术节上展出了他们首个交互式“人工生命”作品《交互植物》（图5-5）。当观 众触摸展厅里真实的植物时，人类与植物之间产生的生物电流会被收集，触发屏幕虚拟植物的生长。 虚拟植物与被触摸的植物根据观众与实体植物的交互而“独立生长”，形成人与植物的有趣互动体验。 佐梅雷尔指出：“技术可以帮助人们加强对自然的认知。虽然我们的工作与技术的关系密切，但技 术和自然是在互相探索对方。通过技术，可以构建另一种自然——人造自然，我相信这有利于人们 更好地理解真实的自然界。 ” 图5-5 佐梅雷尔和米尼奥诺合作推出的《交互植物》作品 5.2 机器学习与AI绘画 AI 艺术的核心是计算机的“创造力”培养，其假定计算机作为艺术创作的主体来加以构建。 AI 艺术的基础是机器学习（machine learning, ML）。机器学习是使计算机具有智能的主要方法。早 107 Yylzw.indd 107 2023.9.26 3:02:02 PM 艺术与科技导论——创新实践十二课 期的机器学习方法是神经网络（neural networks ，图4-13 ，左上），通过模仿动物神经网络行为特征 来进行分布式并行信息处理；深度学习（deep learning，DL ）则是多阶层结构神经网络结合大数据 的逐层信息提取和筛选，使机器具备强大的表征学习能力，帮助机器学习从技术范畴上升到“思想” 范畴。艺术家通过调用包含大量艺术专业知识和经验的专家系统及数据库，就可以实现对机器艺术 思维的训练，形成具有“艺术自觉”与“创造力”的AI “艺术家助手”。美国罗格斯大学艺术与人 工智能实验室（AAIL ）的工程师研发的“生成对抗网络”（GAN ，图5-6 ，右上），即可利用两个相 互博弈的神经网络不断生产出截然不同的全新图像。随着基于区块链技术的NFT 的兴起和开源AI 图像生成模型的普及，人工智能生成绘画（AI Generated Paintings ）已成为人们关注的热点。AI 爱 好者、数据科学家和知名艺术家都在构建生成艺术的深度学习库，并利用该数据库尝试AI 艺术创 作（图5-6 ，下）。人工智能生成艺术具有许多新的品质（如更容易创作和更快的速度），创作者还 可以通过NFT 进行网上交易或收藏。 图5-6 深度神经网络（左上）、生成对抗网络（右上）和AI 艺术（下） 阿纳斯塔西娅·雷纳是罗德岛设计学院（RISD ）的教授。她通过机器视觉和进化生物学探索以 技术为媒介的自然美学，将生物进化融入艺术语言，利用遗传算法进行科学探究并与生物科学家合 作开发新的设计方法。随着AI 逐渐延伸到艺术设计领域，掌握机器学习算法已经成为当代艺术家、 设计师必需的生存技能之一。计算机在审美与艺术领域超越人类的可能性，意味着人类艺术家可能 会面临生存危机，甚至会对“人类”本身的定义提出挑战。正如以色列著名作家、历史学家尤瓦尔·赫 拉利所言，一旦生物还原为“算法”，机器智能超越人类就几乎是无法避免的事情。21 世纪是一个 技术和哲学剧烈变革的时期，这种转变位于后人文主义话语的中心，并要求人们重新考虑技术的含 义，将技术与人类共同进化作为出发点。雷纳教授认为人们应该超越将AI 视为助手或合作者的想 法，而需要将技术作为人类身体与思想的延伸（麦克卢汉哲学），或者是人类能力扩展的必需“组件”。 通过将后人文主义思想融入艺术和设计实践，才能解决当下人类面临的身份危机。 108 Yylzw.indd 108 2023.9.26 3:02:03 PM 第5课 借助机器学习，雷纳教授和他的研究生探索了植物、昆虫和动物形态进化的图谱，并研究了环 境压力导致生物胚胎形态发生变异的规律性。该研究采用了GAN 的风格转移和图像合成功能，这 些可视化数据会组合到生成模型中。该研究团队与GAN 算法专家利亚·科尔曼密切合作，后者负 责指导团队收集数据集、创建自定义GAN 模型、训练StyleGAN 模型、生成图像和视频的过程。 在对数千张微生物图像进行深度学习算法训练后，该项目最终发现了“一组尚未被定义的人造微生 物”。这些AI 生成的图像类型跨越了512（29）种不同的维度，产生了几乎无限数量的后代突变生 物（图5-7）。因此，StyleGAN 生成艺术不仅具有审美价值，而且还能在生物科学研究领域帮助人 们探索未知世界。 图5-7 艺术家通过训练StyleGAN 得到的胚胎生长变异模型 在该项目的研究过程中，雷纳教授发现了自然界生物的进化过程与神经网络算法存在明显的相 似之处：自然生物从单个细胞生成形状（胚胎）成长为完整的有机体，从混沌一团到有清晰的形态 ； 而GAN 的算法模型与之相似，即“数字生物”后代的外观和颜色随着算法层级的不断迭代而不 断 清晰，“噪声”逐渐进化为像素级的“胚胎形式”。图5-8 展示了经StyleGAN2 训练后，机器学习 从 2 000 多张海洋无脊椎动物和浮游动物（包括软体动物、刺胞动物和节肢动物）图像的数据集合 成 “海洋数字生物”后代，这些海洋生物形态各异，与自然界的章鱼、水母、虾蟹有着明显的亲缘关系 ， 但其独特的身体造型匪夷所思，让人大开眼界。 机器学习与AI 绘画为人们带来更多的哲学思考，使人们对“艺术”的定义有了更深刻的理解。 例如，艺术可以唤起观众的情感反应：令人不安的、可爱的、不可思议的、奇妙的、困惑的，而这 些在AI 艺术中同样存在，特别是一些抽象主义绘画表现得更为明显（图5-9）。同样，AI 艺术本质 上是人类和AI 模型之间的一种协作，但算法本身的随机性使这种绘画每张都是“原创”的，可以 借助区块链数字版权（NFT ）进行交易与收藏。神经网络使机器变得“聪明”并通过不断“试错” 来改进技术，而这个过程几乎不需要人工干预。因此，机器绘画+ 人类选择从艺术品规模生产的 角度实现了约瑟夫·博伊斯所提倡的“人人都是艺术家”的梦想。一方面，人们继续编辑和复制自 然本身（生儿育女）。另一方面，人类与技术之间的持续反馈循环重塑了人们对“自然”或“艺术” 的认识（虚拟人或AI 艺术）。在今天这个机器智能无处不在的环境中，所有的人，包括艺术家都无 法避免受到技术的冲击。 109 Yylzw.indd 109 2023.9.26 3:02:03 PM 艺术与科技导论——创新实践十二课 图5-8 机器学习经StyleGAN2 训练后生成的“海洋数字生物”后代 图5-9 基于GAN 算法得到的抽象主义风格的AI 绘画 AI 作为一种绘画的工具，在拓展人类艺术认知的同时，也对人类传统的艺术创作模式提出了 挑战。早在100 年前，德国思想家瓦尔特·本雅明就提出了随着机械复制（摄影与电影）技术的普 及，会导致了艺术品“灵韵”消逝的问题，并引发对艺术民主化的思考。这个问题直到今天依然存 在。不少人认为，AI 具有的工具和算法理性、符号集成性与规定程序、依托数据库而脱离现实等特 110 Yylzw.indd 110 2023.9.26 3:02:05 PM 第5课 性会减少画作本身的艺术意蕴，AI 生成的绘画会局限于数据库存储的绘画符号。如果没有大量的前 人画作的风格“训练”，机器学习也会“巧妇难为无米之炊”。其实，机器学习过程与艺术院校学生 的训练模式非常相似，画家的能力正是在反复观摩、吸收、借鉴大师们的画作，并通过技法的不断 探索与尝试而积累形成的，而机器学习的优点则在于算法的速度与数据的规模远超人脑的能力。因 此，AI 绘画对于掌握了原理与程序的艺术家或工程师来说，无异于如虎添翼，AI 艺术不仅需要艺 术家的参与和指挥，而且反过来会启发艺术家的灵感，二者相辅相成。 5.3 网络艺术与遥在艺术 如果说，艺术家对身体和时空碎片的探索反映了后现代社会的焦虑、不安和对科技未来指向的 不确定感，那么对人机互动、远程互动的艺术探索则更带有“技术乌托邦”的憧憬。20 世纪90 年代 的遥在与远程通信艺术作为一种追求远程临场感觉的艺术形态，代表着早期科技艺术的探索。遥在 艺术强调的是一种远距离传播与接受的艺术形式，追求的是“远程临场”的审美心理感受与体验。 对于艺术家而言，这种艺术形态打破了物理意义上的空间限制，对人机交互的艺术有着重要的意义。 1992 年，艺术家保罗·塞尔蒙推出了名为《远程通信之梦》的遥在装置作品（图5-10）。作品 以床作为媒介物，将两个时空发生的动作联系起来。通过摄像头和投影装置，两个远在异地的人可 以通过网络进行远程实时互动，这个作品成为遥在与远程通信艺术的里程碑之作。遥在艺术不仅与 数字技术相关，而且也与其他电子通信技术有关。早在数字技术与高速宽带互联网出现之前，艺术 家就已经开始探索使用传真、电话或卫星电视来创建远程艺术项目。数字技术的出现为艺术家构建 远程“虚拟替身”提供了可能。互联网可以被视为一个巨大的远程呈现环境，它使世界各地艺术家 可以“虚拟参与”现场艺术活动，甚至可以“远程互动”。 图5-10 远程装置作品《远程通信之梦》 互联网上的第一个遥控机器人项目是由美国南加州大学教授、机器人学及自动化专家肯·戈柏 等人在1994 年完成的《远程花园》（Tele-garden ，图5-11）。该作品是一件由网络、远程通信和机器 人等技术综合而成的装置作品。该装置曾经在奥地利林茨电子音乐节展出。它由一个植物小花园和 一只可通过该项目网站控制的工业机器人手臂组成。远程观众通过移动手臂，可以查看和监控花园 以及浇灌和种植幼苗。《远程花园》邀请世界各地的人们共同培育一个小型生态系统。该装置有一 个圆形花盘，里面有上百种不同的花卉，花盘的上方有一只机器人手臂和铲子、喷水壶等工具。观 众可以通过网络遥控机器人手臂，为这个装置的鲜花松土、播种和灌溉。这个花园还允许远程园丁 111 Yylzw.indd 111 2023.9.26 3:02:05 PM 艺术与科技导论——创新实践十二课 相互分享信息。如果某个园丁因外出不能上网，还可以安排其他人代替自己。 图5-11 远程网络交互装置作品《远程花园》 戈柏随后出版了一本题为《花园里的机器人：遥控机器人学以及关于互联网的远程认识论》的 著作，以自己的艺术实践对远程通信艺术的相关主题进行了佐证。1995 年，新媒体艺术家爱德华多·卡 茨实现了另一个基于互联网的遥在艺术装置作品《传送未知状态》（图5-12）。该作品类似于《远程 花园》，由计算机、投影仪、带有植物种子的培养箱和分布在全球多个城市的摄像头组成。观众可 以通过该网站控制位于自己城市的摄像头来采集阳光，随后传送到投影仪，为完全黑暗状态下的种 子提供光线，让种子幼苗可以进行光合作用和生长。全球的网友都可以通过此举共同照料植物的生 长。卡茨的实验创造了互联网作为生命支持系统的体验，也成为轰动一时的“遥在艺术”的经典。 网络艺术是指通过互联网传播的数字艺术形式。这种形式的艺术绕过了传统的画廊和博物馆系 统，具有互动性、广泛性、即时性与匿名性等特征，在展出时还可能引发一些不可预测的结果。《远 程花园》也是一个经典的网络艺术作品，因为全球网络用户都可以参与管理该装置。但在实际运行 时，该装置也发生了未曾预料到的问题。其原因竟然是网络上有太多的热情粉丝要给花园浇水，因 此花园的植物无法正常生长。戈柏教授为此还重新修改了程序，限制了每天的浇水量，才使得该作 品重新开放，这也说明了网络艺术具有交互性、全球化和不可预测性。从艺术角度看，网络艺术与 早期先锋艺术运动（包括达达主义、概念艺术、激浪派、录像艺术、动力艺术、表演艺术、远程信 息艺术和偶发艺术等）有着不解之缘。网络艺术与遥在艺术有着广泛的主题，从人们身体的虚拟化 到隐私、窥淫癖和网络摄像头的监视等，涉及了人们的私生活、公共空间以及虚拟社交等领域。 112 Yylzw.indd 112 2023.9.26 3:02:06 PM