S5E3 与AI聊天后产生幻觉甚至自杀，谁该负责任？

过去两年，越来越多的用户开始使用生成式AI聊天，寻求情感支持，处理个人问题。与此同时，美国出现多起与自杀、未成年人风险、暴力事件相关的针对AI 公司的诉讼。起诉者认为AI 工具涉嫌强化用户不切实际的想法，增加用户的不健康依赖，甚至引发或强化了自杀或出现精神病性症状（例如妄想和幻觉）的风险，并没有对相关精神风险进行适当的引导或预警。当未成年人与AI聊天后产生幻觉甚至自杀或伤害他人，AI公司是否该负相应的责任？本期我们请来在美国执业的律师Wenny，一起梳理在美国针对生成式AI公司相关的多起与自杀、未成年人风险、和伤人的相关诉讼，探讨AI对我们社会情感生活和内心秩序的影响，从法律、政府、公司、个人的层面讨论我们如何维持AI使用的健康边界。

嘉宾：Wenny

时间线：

1:00 从生成式AI流行起来以后，我们都各自用ai在干什么？

5:00 AI让我们得到情感的安慰，但可能有什么问题？

6:00虽然AI有谄媚的倾向，但大部分用户认为它很”客观”

6:45 16岁男孩自杀前与chatgpt聊天的案例

9:30 对比AI可能侵权的案例与一个传统侵权案的判决

12:40 如何判定“可预料的使用方式”？当产品设计的主旨是为了增加用户的依赖性，公司需要负责任吗？

16:30 AI公司对AI的被使用方式处于失控的状态吗？

21:45 安全措施是否应该由政府监管而不是靠ai公司的自我约束？

23:45 美国对AI影响儿童健康的监管：联邦政府和州政府的角力

27:00 宗教保守主义对AI使用的倡议

30:00 14岁青少年与和AI进行角色扮演后自杀的案例

35:45 人们对AI不可控的拟人化与投射

38:15 “无法辨别真实与虚幻”，并不是一个AI时代独有的问题

39:10 AI psychosis（与人工智能相关的精神病性的症状）到底是什么？

40:00 与AI聊天后产生幻觉并伤人的案件：民事与刑事的责任

47:10 AI公司对公司发展和安全问题的权衡

49:00 每次科技革命进步的初期都必然伴随着对人类福祉的忽视吗？

57:00 法律的制定也受经济学而不只是伦理道德影响

1:01:45 法律应该与道德准则分开

1:05:30 成年人有在AI协助下的自杀自由吗？在模糊的道德框架下法律如何判定？

1:14:00 政府的监管vs个体的起诉

1:17:00 我们每个人在使用AI的时候应该注意什么？

1:19:00 完美关系的幻觉对我们有什么影响？

1:25:00 每人都有对AI祛魅的时刻吗？

主播：卡其 & 朝朝；市场&运营：荟有猫

欢迎关注我们的播客名片，上面有我们在各大播客平台的信息：⁠⁠⁠namecard.xiaoyuzhoufm.com ⁠⁠⁠

喜马拉雅搜索【北冥有鱼播客】| 小宇宙搜索【北冥有鱼🐟】|其他平台搜索【北冥有鱼】

更简单的方式是添加RSS feed订阅: ⁠⁠⁠anchor.fm ⁠⁠⁠

欢迎订阅，评论，或者将意见和反馈发到我们的邮箱：carefree.soaring@gmail.com

欢迎关注我们的微博@北冥有鱼播客，小红书@北冥有鱼🐟 或者推特Twitter: @CarefreeSoaring