记忆中的模样
保罗·阿莱库姆·加西亚(Pau Aleikum Garcia)谈 Domestic Data Streamers 的「合成记忆」(Synthetic Memories)项目:这些图像所呈现的,是根据个人记忆重建的画面
引言
我们常常把记忆想象成某种记录,认为过去如同一部电影,储存在内心某处,回忆便是按下播放键。照片似乎也遵循同样的原理,而且更胜一筹:它将曾经存在的场景固定下来,成为一份忠实的副本。
记忆研究讲述的却是另一番情形。每一次回忆,我们都会从片段中重新构建记忆。意义、感受,以及此后发生的一切,都参与其中。我们留住的,与其说是过去的画面,不如说是那段经历对自己的意义。因此,兄弟姐妹可能对同一次假期有着不同的记忆,一个年年讲起的故事,也会在反复讲述中慢慢改变。
「合成记忆」正是从这样的认识出发。这个由 Domestic Data Streamers 发起的项目,早在正式命名之前就已萌芽:2015 年,工作室在希腊与叙利亚难民家庭合作,一位祖母担心,孙辈会逐渐忘记自己从何而来。如今,团队与老年人、处于失智症早期的人、移民社群,以及因战争或流离失所而失去照片的家庭合作。每次访谈中,参与者描述记忆中的场景,访谈者与提示词撰写者借助图像生成模型,不断修正画面,直到参与者以某种方式表示:“对,就是这样。”
这个项目令人不安,却也发人深省。它拒绝了两种轻易的判断:既不声称图像能够还原过去,也不将它们视为赝品。相反,它提出了一个更为细微的问题:即使一幅图像并非某件事的实录,它是否仍能忠于一个人的记忆?保罗·阿莱库姆·加西亚是 Domestic Data Streamers 的创始人兼总监,这家巴塞罗那工作室正是「合成记忆」项目的背后团队。在以下对话中,他讲述一次访谈如何展开,人们对画面的修正如何揭示记忆的构成,工作室为何刻意模糊每张面孔,以及团队如何界定回忆与想象的边界。
对话
保罗·阿莱库姆·加西亚:所需的东西很少:一张桌子、三把椅子、一台笔记本电脑,以及一台小型拍立得照片打印机。围坐在桌旁的,是讲述记忆的人、一位主要负责倾听的访谈者,以及一位提示词撰写者,负责把听到的描述转化为机器能够处理的内容。我们总是从宽泛的话题开始,询问早年的记忆、住过的房子,以及已经不在身边的人。最初二十分钟,我们寻找的并非最重要的记忆,而是最有画面感的记忆。有些记忆很美好,却没有具体画面,例如一种安全感,或从另一个房间传来的声音。另一些记忆则几乎带着完整的场景浮现:光线从什么角度照进来,桌上摆着什么,谁站在门口。我们寻找的是后一类场景。
找到这样的记忆后,提示词撰写者便将它写成提示词,第一批图像随即出现在屏幕上,而且几乎总是不对。我们逐渐发现,最有用的恰恰是这个环节,因为一幅不对的图像,比我们提出的任何问题都更能引出细节。一个人也许无法凭空描述祖母的厨房,却能准确指出我们生成的厨房哪里不对:窗户应该在另一边,地板的颜色应该更深。每幅图像通常需要反复调整十五至四十分钟,直到参与者认可,因此一小时一般能完成两三幅。
参与者带来记忆,更重要的是,他们拥有对记忆的最终判断权,因为在场的人中,只有他们亲历过,并且记得那段往事。我们带来的是问题,还有一些耐心。模型带来的,则是对数百万张图像的统计归纳,其中大部分来自全球北方国家。因此,它很擅长描绘加利福尼亚的厨房,却不太知道阿勒颇的庭院是什么样子。我们也因此以 Stable Diffusion 为基础,利用当地档案微调自己的模型:为市民办公室使用巴塞罗那的城市档案,纳入瓦尔帕莱索的山丘与港口影像,或与一位视觉人类学家共同挑选上世纪的阿联酋摄影作品。我们内部称之为「重新调整偏向」。模型总会对世界的样貌抱有某种预设,我们至少可以让这种预设建立在更充分的资料之上。
访谈结束时,参与者会带走一张打印出来的拍立得照片,以及一份数字图像。我们称它们为「记忆向量」(Memory Vectors),因为它们并非储存一个如轴测图般经过测量、客观呈现的现实,而是指向某个具体的人记住往事的方式。
保罗·阿莱库姆·加西亚:这是我们最感兴趣的问题,回答时我们也格外谨慎,不愿作出超出观察所能支持的判断。记忆与其说像一块硬盘,不如说像一支演奏经典老歌的乐队:每次回忆,都是拿起当天手边的乐器,将同一首歌从头演奏一遍。神经科学家罗德里戈·奎安·基罗加(Rodrigo Quian Quiroga)对概念细胞的研究,也揭示了与此相通的现象。所谓詹妮弗·安妮斯顿神经元,是指某些单个神经元既会对她的面孔产生反应,也会对纸上写出的她的名字产生反应。大脑保留的是关于一个人的概念,而非那个人的一张照片。记忆更多依靠意义与联想,而非对往事的原样复制。
当我们的图像参与记忆的重建,它便像是乐队里多了一件乐器。我们认为,图像并不是取代记忆,而是让记忆有所依托。因此,我们称它们为「记忆向量」:它们指向一段记忆,却不声称能够完整承载它。
访谈结束后,我们观察到的变化,大多发生在人与人的交谈中。人们拿到图像,往往会讲起访谈时未曾提及的往事。一幅图像唤起一段记忆,再由那段记忆牵出更多。2023 年,我们在巴塞罗那两家养老院开展首次实验,共有三十五位住户参与。那些图像成了住户与家人、照护者之间的话题。二十五名经过我们培训的年轻学生担任访谈者,也因此听到了许多原本根本想不到要问起的人生故事。图像有些像贴在冰箱上的老照片,让人自然而然地开口:“我有没有跟你讲过……”
还有一种更细微的变化:人们在修正图像的过程中,会想起更多。说出“不对,椅子原来在那边”,本身便是一次回忆。因此,图像不仅呈现了记忆,也让人再次回想、梳理那段经历。但我们绝不会声称,图像不会改变记忆。任何唤起回忆的事物,都会影响我们如何记住往事。人工智能图像如此,家庭照片如此,家里的兄弟每逢圣诞节重讲同一个故事、总把自己说成主角,也会产生同样的影响。正因如此,我们才格外在意图像如何设计。
保罗·阿莱库姆·加西亚:起初是为了处理一个实际问题,后来慢慢成了一项原则。早期我们先使用 DALL·E,之后使用谷歌的 ImageFX,逐渐发现,清晰反而不利于我们的工作。一张清晰的面孔,是模型作出的自信猜测。模型从未见过你的母亲,因此它给你的,只是一个极具说服力的陌生人。有些人看到逼真的父母影像,会生出一阵近似悲伤的感受,因为画面中的人并不是自己的亲人,图像却如此笃定地告诉他们,那就是他们的亲人。柔和的版本带来的感受恰好相反:面孔模糊时,人们会自行补足,记忆承担起模型根本无法完成的那部分工作。
我们借鉴了老照片与水彩画的风格,一方面是因为许多记忆所处的年代,照片本就带着这样的质感;另一方面,朦胧也能如实呈现记忆的不确定。每讲述一次往事,记忆中裙子的颜色可能有所变化,房间里物件的位置也可能不同。因此,比起任何一幅 4K 渲染图,如梦的画面反而更接近回忆的体验。
第二个原因关乎伦理。对于一个从未被相机记录的时刻,逼真的影像严格说来是一份伪造的记录。我们不希望这些图像最终进入家庭相册,被某个在 2080 年翻开相册的人当作证据。梦境般的风格如同无法裁去的水印。2024 年,我们在巴塞罗那设立「合成记忆」市民办公室时,与设计博物馆签署了一份伦理准则,将这一点明确写下:记忆是个人的、带有情感的重建,而非历史事实。每幅图像都采用刻意营造的梦境风格,避免任何人将其误认为照片。
因此,当模型生成的画面过于精确时,我们会做一件有违直觉的事:让它变得差一些,重新趋于模糊,柔化面孔。与我们合作的人,几乎从不要求画面更清晰。他们希望它更真实。而在这样的访谈中,真实往往存在于光线与氛围之中,而非像素之中。
保罗·阿莱库姆·加西亚:图像对不对,无须任何人教他们判断。这是我们观察到的最一致的现象之一。认出的反应很快,先于语言,也会表现在身体上:人们会凑近画面,或突然安静下来,也常常笑出声。
那些“还不太对”的时刻,反而让我们学到更多。人们的修正通常分为几类,每一类都透露出记忆如何构成。首先是尺度。童年里的事物,在第一版图像中几乎总是显得太小,因为模型以成年人的高度描绘世界,而记忆保留的是孩子的视角。厨房的桌子曾经很大,街道曾经很宽,因此我们最后常常需要把门画得更高,把父亲画得更高大。其次是布局:人们准确地知道物件原来在哪里,却不一定能解释缘由。收音机在左边,床朝着窗户,仿佛房间的布局比大部分细节留存得更久。然后是质感与光线,例如“地板更凉”或“那时已经更接近傍晚”。这些修正很少关乎物件本身,几乎总与氛围有关。最后是年代感:当一个发生于 1965 年的场景,看起来像套了滤镜、假装成 1965 年的 2020 年画面时,人们即使说不清哪里出了问题,也能立刻察觉时代错位。
最让我们意外的,是人们没有要求修正的部分。只要感觉对了,即使墙纸不对、椅子多了,他们也会接受;但如果光线不对,即使细节准确,他们仍会拒绝。“就是这样”几乎从来不是因为细节齐全,而是因为认出了熟悉的氛围。它印证了我们早已有所察觉的一点:记忆首先保存意义,其次才是细节。细节如同支架,由大脑围绕一种感受重新搭建。当图像与那种感受吻合,大脑便会补上其余部分,正如它总会悄然填补眼睛的生理盲点,却从不让你意识到。
保罗·阿莱库姆·加西亚:我们最初选择与处于失智症早期的人合作,是因为回忆疗法本来就已存在,也已有帮助。借助照片、音乐、气味或物件谈论往事,是照护中的常见做法。我们想问的是,如果没有照片可以作为起点,这种做法会如何展开。
我们曾与伦敦一位七十二岁、处于失智症早期的爱德华(Edward)合作,重建了他的三段记忆,其中包括在阿尔卑斯山滑雪,以及一次搭便车穿越西班牙的旅行。旅程最后,他在直布罗陀的一家酒吧里,与当地乐队一起唱歌。我们在他身上看到的,也在后来许多人身上看到了:图像带回的不仅是一个场景,还有讲述那个场景的人。在那一个小时里,他重新成为自己故事的讲述者,而不只是患者。
我们目前正与穆罕默德·本·拉希德政府创新中心、阿联酋卫生服务局合作,在迪拜的阿尔阿迈勒医院开展一项临床试验。我们培训了八位心理学家主持访谈,并用阿联酋档案微调模型,让图像呈现参与者自己的过去,而非别人的过去。试验将「合成记忆」与传统回忆疗法进行比较。首批研究结果正在整理,准备提交同行评审。在正式发表之前,我们不愿对临床效果作出结论。与此同时,多伦多大学和不列颠哥伦比亚大学的合作伙伴,也在研究老年人如何看待人工智能辅助回忆。我们认为,这个问题应该先于其他一切问题。
责任才是最难的部分。麻省理工学院媒体实验室的研究者,包括 Pat Pataranutaporn、Samantha Chan 和帕蒂·梅斯(Pattie Maes),已经表明,人工智能编辑的图像和视频能够植入虚假记忆,扭曲回忆。更早与伊丽莎白·洛夫特斯(Elizabeth Loftus)合作的研究也发现,对话式人工智能能够在证人访谈中放大虚假记忆。我们认为,这是反对我们所做工作最有力的理由。任何涉足这一领域的项目,如果不认真考虑它,都会让我们担忧。
我们的回应是一系列设计选择,而非一句保证。我们的方法不会修改人们真实的照片,而是根据他们自己的讲述生成新图像,并采用不会被误认成照片的风格。每一次修改都由参与者决定,让图像跟随记忆,而非记忆跟随图像。我们在获得同意的前提下,与处于早期阶段的人合作,照护者也在近旁。此前,我们曾与在巴塞罗那旧莱埃塔纳大道警察局遭受警方酷刑的人合作。那次经历让我们明白,涉及敏感经历的访谈,除了访谈者与提示词撰写者,还需要一位心理学家在场。有些人日后可能难以分清图像与自己的经历,我们不会假装这种情况不存在。家庭照片也会带来类似的问题,反复讲述的故事也可能逐渐凝固成事实。我们能做的,是确保图像诚实地表明自己究竟是什么。
保罗·阿莱库姆·加西亚:项目最初的念头便源于这样的经历,那时它还没有名字。2015 年,我们在希腊与叙利亚难民家庭合作。一位祖母告诉我们,她并不担心眼下住在难民营,因为一家人迟早会找到新的落脚处。她真正担心的是,即使日后有了安定的家,孙辈仍会觉得自己是难民。他们会逐渐失去与故乡的联系,忘记那里的食物、街道与习俗,最终也不再清楚自己从何而来、属于哪里。
家庭相册有一种奇妙的作用。它看似保存往事的档案,更多时候却是讲述的线索,让长辈有机会说起过去,也让晚辈有机会追问。当相册毁于战火、火灾或洪水,或在越境途中遗失,故事并不会随之消失,却少了一个被讲起的契机。星期天下午,一家人再也无法围坐着翻看相册,因为相册已经不在了。
一幅迟来几十年的图像,无法弥补这样的失去,我们也从不愿让人以为它能。但它可以让中断的交谈重新开始。在圣保罗,我们曾与邦雷蒂罗街区的 Casa do Povo 合作。一代又一代移民塑造了这个街区。参与者讲述初来时的经历、逐渐适应新生活的过程,以及眼看着街区不断变化的感受。后来,图像在 Casa do Povo 展出,让来自不同地方的邻居得以交流各自迁居至此的故事。那些鲜少进入官方历史的经历,终于也有了一面展示它们的墙。
对一个家庭而言,传承这样的图像,也是在传承一个如实交代来历的故事。图像的说明并非“事情当时就是这样”,而是“这是你的祖母在那一年向我们讲述时,记忆中的模样”。讲述的时间至关重要。我们的档案既记录往事发生的时间,也记录它被回忆的时间,同时保留地点、访谈者、提示词撰写者,以及所用模型等信息。在我们看来,生成式人工智能时代的传家之物,也应坦诚地说明自身的来历:它留存的是一个人如何回忆往事,而非往事本身的实录。
传承也发生在倾听之中。许多访谈中,年轻人坐下来,听老年人讲述往事。有时,最动人的并非图像出现在屏幕上的那一刻,而是一位二十岁的年轻人忽然意识到,眼前的女士在成为祖母之前,早已有过属于自己的丰富人生。
保罗·阿莱库姆·加西亚:在《银翼杀手》中,瑞秋拿出一张童年时与母亲的合影,向戴克证明自己的记忆是真实的。然而,那些记忆并不真实,照片恰恰是让她信以为真的陷阱。我们常常想起那个场景,因为我们的图像在设计上与瑞秋的照片恰恰相反:它们从不冒充往事的证据。
我们会这样解释:记录忠于事件,「合成记忆」的图像则忠于一个人。一张摄于 1973 年的照片,呈现的是相机当时捕捉到的景象;我们的图像呈现的,则是一个人在五十年间始终留在心里的往事。两者都传递信息,却回答着不同的问题。只有当其中一种被冒充成另一种时,问题才会出现。因此,我们觉得参与《Full Disclosure: The Edge of Information Design》十分契合。展览邀请观众思考什么值得信任,而我们的图像通过坦诚说明自身的来历与性质,参与这场讨论。现代艺术博物馆收藏了我们的九件作品,其中有海边的童年、一位移民的越境经历,以及一名女孩的童年记忆,她的父亲曾在佛朗哥统治下遭受迫害。它们都不能作为事件的取证材料,却都忠于某个人留存至今的记忆。
回忆与想象之间的界限,比大多数人愿意承认的更难分明。心理学家丹尼尔·沙克特(Daniel Schacter)等人的研究表明,回忆过去与想象未来,在很大程度上依赖相同的大脑机制。因此,回忆本身也包含想象。两者之间的区别,在于回忆时的一份自我要求:努力忠于曾经发生的事。
对我们而言,界限要从图像形成的过程中寻找。讲述者是否始终拥有对自身记忆的决定权?每一次修正,是为了更贴近亲身经历,还是逐渐转向自己希望发生的情景?他们是否有权随时撤回自己的记忆?最终的图像是否得到清楚标注?这些都至关重要。因此,我们的档案会公开保留相关信息,包括往事发生的日期、被回忆的日期,以及访谈者、提示词撰写者和所用模型。一幅图像可以借助想象而成,同时依然忠于记忆,前提是没有人隐瞒它的制作过程。
结语
我们常常期待图像为往事作证:某个时刻确实发生过,某个地方曾是那般模样,某个人曾经在那里。「合成记忆」让图像承担了一种更温柔、也更坦诚的角色。它们不声称再现过去,而是呈现往事留在一个人心中的模样:孩子眼中硕大的桌子、午后渐晚的光线,以及细节淡去后依然留存的感受。
这场对话也让我们重新思考,怎样的图像才有价值。一幅不准确的画面,可能最有助于唤起记忆,因为人们能从中辨认偏差,想起更多往事。模糊的面孔,也可能比清晰的面孔更贴近记忆,因为它为讲述者留下了凭自己的回忆补足容貌的余地。至于回忆与想象的界限,则需要从图像的制作过程与使用方式中辨明:讲述者是否始终保有对记忆的决定权,图像的来历是否得到如实说明。
也许,在生成图像的时代,一件传家之物也可以如此:留存一个人回望往事的方式,记下讲述的日期,并将制作时倾注的心意一同传递下去。
首图:观众驻足观看重建的记忆图像。画面摄于 2025 年在柏林举办的《The Lost Sense》展览,展览探讨嗅觉与记忆之间的联系。图像根据在新冠疫情期间失去嗅觉者的回忆重建。图片来源:Synthetic Memories,Domestic Data Streamers