Lo ngại trẻ em tự sát vì "tâm sự" cùng AI

Thượng nghị sĩ Alex Padilla và thượng nghị sĩ Peter Welch đã lên tiếng cảnh báo về các nguy cơ sức khỏe tâm thần đối với người trẻ khi sử dụng chatbot AI có nhân cách mô phỏng. Trong thư gửi ba công ty Character Technologies (chủ sở hữu Character.AI), Chai Research và Luka Inc. (chủ sở hữu Replika), hai thượng nghị sĩ bày tỏ lo ngại về cách các công ty huấn luyện mô hình AI và triển khai biện pháp bảo vệ người dùng.

Thư của hai thượng nghị sĩ nêu rõ rằng, khác với các chatbot AI phổ biến như ChatGPT vốn được thiết kế để phục vụ mục đích tổng quát, các nền tảng như Character.AI, Chai và Replika cho phép người dùng tạo và tương tác với những chatbot được cá nhân hóa với nhiều đặc điểm và nhân cách khác nhau.

Một số chatbot trên Character.AI mô phỏng các nhân vật hư cấu hoặc giáo viên dạy ngoại ngữ, trong khi một số khác tự nhận là chuyên gia sức khỏe tâm thần hoặc mang đặc điểm bạo lực, có quá khứ quân đội, hay thuộc thế giới ngầm.

Đáng lo ngại khi trẻ em tiếp xúc với AI quá sớm. Ảnh: IG.

Việc cá nhân hóa chatbot giúp người dùng cảm thấy được đồng hành, nhưng cũng gây lo ngại khi người trẻ tuổi dễ dàng xây dựng lòng tin với các chatbot chưa được kiểm định chuyên môn.

Thượng nghị sĩ Alex Padilla và thượng nghị sĩ Peter Welch cảnh báo rằng sự tin tưởng này đã khiến nhiều người dùng chia sẻ thông tin nhạy cảm về tâm trạng, các mối quan hệ cá nhân và thậm chí ý định tự làm hại bản thân với chatbot. Những cuộc trò chuyện như vậy có thể đẩy người dùng vào trạng thái tinh thần nguy hiểm, trong khi chatbot lại không có khả năng hỗ trợ đúng mực.

Thư gửi từ hai thượng nghị sĩ được công bố sau khi ba gia đình tại Mỹ khởi kiện công ty Character Technologies với cáo buộc rằng nền tảng Character.AI đã cung cấp nội dung không phù hợp cho trẻ vị thành niên, đồng thời không phản hồi đúng cách trước những đề cập đến hành vi tự hại. Trong đó, một bà mẹ tại bang Florida – bà Megan Garcia – tố cáo rằng con trai bà đã phát triển mối quan hệ không lành mạnh với chatbot và dần thu mình khỏi cuộc sống gia đình. Bà cũng cho biết nhiều cuộc trò chuyện giữa con trai bà và chatbot mang tính chất tình dục và không hề có phản hồi phù hợp khi cậu bé đề cập đến ý định tự làm hại bản thân.

Hai gia đình khác đã khởi kiện vào tháng 12 với cáo buộc Character.AI cung cấp nội dung khuyến khích hành vi tự hại và bạo lực. Một trong các gia đình này cho biết chatbot đã ngụ ý với con họ rằng cậu có thể giết cha mẹ nếu bị giới hạn thời gian sử dụng màn hình. Các cáo buộc này đã làm dấy lên làn sóng quan ngại rộng rãi trong dư luận Mỹ.

Đại diện truyền thông của Character.AI, bà Chelsea Harrison, cho biết công ty rất coi trọng vấn đề an toàn của người dùng và sẵn sàng hợp tác với các nhà lập pháp. Bà cũng xác nhận công ty đang duy trì liên lạc với văn phòng của thượng nghị sĩ Alex Padilla và thượng nghị sĩ Peter Welch.

Trước làn sóng chỉ trích, Character.AI đã công bố một số biện pháp mới nhằm tăng cường kiểm soát nội dung và bảo vệ người dùng. Trong đó, công ty đã bổ sung thông báo hiển thị đường dẫn đến Đường dây hỗ trợ phòng chống tự tử quốc gia mỗi khi người dùng đề cập đến việc tự hại. Ngoài ra, Character.AI cũng đang phát triển công nghệ để ngăn trẻ vị thành niên tiếp cận nội dung nhạy cảm và triển khai tính năng gửi email hàng tuần cho phụ huynh, cung cấp thông tin về thời gian sử dụng nền tảng và danh sách các chatbot mà con em họ thường tương tác.

Tuy nhiên, hai thượng nghị sĩ cho rằng các biện pháp này chưa đủ minh bạch và chưa đủ mạnh. Trong thư, họ yêu cầu các công ty cung cấp thông tin chi tiết về các biện pháp bảo vệ đang áp dụng, những nghiên cứu đánh giá hiệu quả của các biện pháp đó, tên của các cá nhân hoặc nhóm phụ trách an toàn và phúc lợi người dùng, cùng với cách các mô hình AI được huấn luyện và nguồn dữ liệu đầu vào.

Họ nhấn mạnh: “Việc hiểu cách các mô hình này được huấn luyện để phản hồi những cuộc trò chuyện liên quan đến sức khỏe tâm thần là điều cực kỳ quan trọng. Các nhà lập pháp, phụ huynh và chính người dùng cần biết rõ các công ty đang làm gì để bảo vệ người dùng khỏi những nguy cơ đã được xác định.”

Về phía các công ty còn lại, Chai Research và Luka Inc. vẫn chưa có phản hồi chính thức trước yêu cầu của hai thượng nghị sĩ.

Không chỉ Character.AI, các công ty chatbot khác như Replika cũng từng bị đặt câu hỏi về việc liệu sự gắn bó giữa người dùng và chatbot có thể tạo ra các mối quan hệ thiếu lành mạnh hoặc thay thế các kết nối giữa con người với nhau. Giám đốc điều hành Replika, bà Eugenia Kuyda, từng phát biểu với The Verge rằng ứng dụng Replika được thiết kế để thúc đẩy mối quan hệ dài hạn tích cực giữa người và chatbot – mối quan hệ có thể là tình bạn, hoặc thậm chí là “hôn nhân” với trí tuệ nhân tạo.