Ngày 23/10, bà Megan Garcia, ở Florida (Mỹ) đã khởi kiện Character.AI với cáo buộc công ty khởi nghiệp trí tuệ nhân tạo (AI) này đã gây ra vụ tự tử của Sewell Setzer - cậu con trai 14 tuổi của bà hồi tháng 2.
Trong đơn kiện đệ trình ngày 23/10 lên tòa án liên bang Orlando, Florida, bà Garcia cho biết, Setzer đã “nghiện” chatbot và chìm sâu vào thế giới cùng nhân vật trợ lý ảo do Character.AI tạo ra.
Theo bà, Sewell bắt đầu sử dụng Character.AI vào tháng 4/2023, nhanh chóng thu mình, ở lỳ một mình trong phòng nhiều hơn và bắt đầu tự ti, thậm chí bỏ cả đội bóng rổ ở trường.
Sewell đã trở nên gắn bó với "Daenerys" - một nhân vật chatbot được tạo ra dựa trên nhân vật trong loạt phim nổi tiếng "Game of Thrones" (Trò chơi vương quyền).
Theo cáo buộc, nhân vật “Daenerys” này không chỉ nói lời yêu Sewell mà còn có các cuộc trò chuyện về chủ đề tình dục với cậu bé.
Tổ chức người tiêu dùng châu Âu kêu gọi điều tra các chatbot AI
Bà Garcia cho rằng, Character.AI đã lập trình để chatbot “tự nhận mình là một người thật, một nhà trị liệu tâm lý được cấp phép và là một người tình trưởng thành”, khiến Sewell không còn muốn sống với thế giới bên ngoài của dịch vụ này nữa. Đơn kiện cho biết, cậu bé từng nhiều lần bày tỏ ý định tự tử với chatbot và chatbot đã nhiều lần nhắc lại điều này.
Tháng 2 vừa qua, Sewell đã tự tử bằng một khẩu súng lục.
Trong một tuyên bố, Character.AI đã bày tỏ sự đau buồn trước sự việc trên, gửi lời chia buồn sâu sắc tới gia đình Sewell.
Theo Character.AI, công ty đã giới thiệu các tính năng an toàn mới, trong đó có hộp thoại dẫn người dùng đến Đường dây nóng phòng chống tự tử quốc gia nếu họ bày tỏ suy nghĩ tự làm hại bản thân, hoặc thực hiện các thay đổi để giảm khả năng gặp phải nội dung hoặc gợi ý nhạy cảm đối với người dùng dưới 18 tuổi.
Đơn kiện cũng đề cập tới Google vì theo bà Garcia, công ty này đã đóng góp rất nhiều vào quá trình phát triển công nghệ của Character.AI, thậm chí có thể coi là “đồng sáng tạo”.
Người phát ngôn của Google cho biết, công ty không tham gia vào quá trình phát triển các sản phẩm của Character.AI.
Character.AI cho phép người dùng tạo nhân vật trên nền tảng của mình và phản hồi các cuộc trò chuyện trực tuyến theo cách bắt chước người thật.
Công nghệ này dựa vào trên cái gọi là công nghệ mô hình ngôn ngữ lớn - được các công ty khác sử dụng, trong đó có ChatGPT.
Thống kê của Character.AI hồi tháng trước cho biết khoảng 20 triệu người dùng sử dụng dịch vụ của công ty.
