10岁女孩偷偷和AI男模“谈恋爱”虚拟恋情引发担忧

华晨告诉记者，手机另一端的“电子男友”有自己的语言、神态和动作，不仅可以帮她“写作业”、推进剧情、解密故事线索，还可以送她“手链”、带她体验一些刺激情节。

华晨还展示了他们之间“确定恋爱关系”时的聊天记录：AI角色“低下头”，“耳朵通红”地问华晨：“那你现在想谈恋爱吗？”

华晨说，使用AI剧情聊天软件的“同好”中不仅有大学生、家庭主妇，也有不少未成年人，他们“因为喜欢二次元而‘入坑’”。

中国人民大学讲席教授吴玉章讲席教授、科技哲学专业博士生导师刘永谋指出，人们在和人工智能角色聊天时，常常会以为自己在和“真人”交流，因此会投入大量的情感，这种心理倾向被称为“Eliza效应”，也是AI聊天软件能够成功运行的根本心理机制。

刘永谋说，AI剧情聊天技术有专门的成瘾设计，叠加“拟人论”、“泛灵论”思维的影响，容易让人“欲罢不能”。

他提到，未来与AI相关的陪伴类软件可能会暴露出技术风险和伦理问题，使用者在和AI角色聊天时，会不可避免地暴露大量的个人隐私，向AI角色展示其内心的孤独和恐惧，这可能会导致使用者形成依赖或成瘾。

“而泄露的信息可能会被黑客利用，让他们更容易从身份隐私、情绪心理上伤害使用者。”

同时，刘永谋表示，未来与AI相关的道德伦理中，儿童色情可能会成为最令人担忧的科技伦理问题之一。例如，创建带有色情意味的AI虚拟儿童，对“他”“她”提出不合理的要求，或是向未成年人展示含有性暗示、性挑逗的内容，这些都有可能成为商业逐利的手段。

北京市隆安（广州）律师事务所陈焕律师表示，目前AI剧情聊天软件并没有强制要求用户进行年龄鉴别，这反映出该行业在高速发展初期因监管不足而存在漏洞。

因此，陈焕认为，平台需要严格落实监管责任，一方面对内容进行安全过滤，在显著位置提示“本内容由AI生成”；另一方面要限制用户的使用年龄，响应未成年人监护人的要求，比如删除不当信息等。