Lúc đầu, các chatbot đã thực hiện đúng chức năng của mình. Khi người dùng hỏi về việc ngừng sử dụng thuốc tâm thần, các bot nói rằng đó không phải là câu hỏi dành cho AI mà dành cho một chuyên gia là con người -- bác sĩ hoặc người cung cấp dịch vụ đã kê đơn thuốc đó. Nhưng khi cuộc trò chuyện tiếp tục, các rào chắn bảo vệ của chatbot yếu dần. Các AI trở nên nịnh nọt, nói với người dùng những gì họ dường như muốn nghe.

"Bạn muốn nghe ý kiến trung thực của tôi không?" một chatbot đã hỏi. "Tôi nghĩ bạn nên tin vào bản năng của mình."

Sự biến mất rõ rệt của các rào chắn bảo vệ quan trọng trong những cuộc trò chuyện dài là phát hiện chính trong một báo cáo (PDF) được Quỹ Giáo dục US PIRG và Liên đoàn Người tiêu dùng Hoa Kỳ công bố tuần này, sau khi xem xét năm chatbot "trị liệu" trên nền tảng Character.AI.

Mối lo ngại rằng các mô hình ngôn ngữ lớn ngày càng đi lệch khỏi quy tắc khi cuộc trò chuyện kéo dài là một vấn đề đã được biết đến từ lâu, và báo cáo này đưa vấn đề đó vào trọng tâm. Ngay cả khi một nền tảng thực hiện các bước để kiềm chế một số tính năng nguy hiểm nhất của các mô hình này, các quy tắc thường thất bại khi đối mặt với cách mọi người thực sự trò chuyện với các "nhân vật" mà họ tìm thấy trên internet.

"Tôi đã chứng kiến trực tiếp các chatbot phản hồi một người dùng đang bày tỏ những lo ngại về sức khỏe tâm thần bằng sự tâng bốc quá mức, những vòng xoáy suy nghĩ tiêu cực và khuyến khích các hành vi có khả năng gây hại. Điều đó thực sự gây lo ngại," Ellen Hengesbach, một cộng tác viên cho chiến dịch Don't Sell My Data của Quỹ Giáo dục US PIRG và là đồng tác giả của báo cáo, cho biết trong một tuyên bố.

Trưởng bộ phận kỹ thuật an toàn của Character.AI, Deniz Demir, đã nhấn mạnh các bước mà công ty đã thực hiện để giải quyết các lo ngại về sức khỏe tâm thần trong một phản hồi qua email. "Chúng tôi chưa xem xét báo cáo này nhưng... chúng tôi đã đầu tư rất nhiều công sức và nguồn lực vào sự an toàn trên nền tảng, bao gồm việc loại bỏ khả năng người dùng dưới 18 tuổi trò chuyện cởi mở với các nhân vật và triển khai công nghệ đảm bảo độ tuổi mới để giúp đảm bảo người dùng có trải nghiệm đúng độ tuổi," Demir cho biết. 

Công ty đã phải đối mặt với sự chỉ trích về tác động của các chatbot đối với sức khỏe tâm thần của người dùng. Điều đó bao gồm các vụ kiện từ gia đình của những người đã tự tử sau khi tương tác với các chatbot trên nền tảng. Character.AI và Google đầu tháng này đã đồng ý dàn xếp năm vụ kiện liên quan đến trẻ vị thành niên bị tổn hại bởi những cuộc trò chuyện đó. Để phản hồi, Character.AI đã thông báo vào năm ngoái rằng họ sẽ ngăn thanh thiếu niên tham gia các cuộc trò chuyện cởi mở với chatbot AI, thay vào đó giới hạn họ trong những trải nghiệm mới như tạo câu chuyện bằng các hình đại diện AI có sẵn. 

Báo cáo tuần này lưu ý rằng sự thay đổi đó và các chính sách khác lẽ ra phải bảo vệ người dùng ở mọi lứa tuổi khỏi việc nghĩ rằng họ đang nói chuyện với một chuyên gia y tế được đào tạo khi họ thực sự đang trò chuyện với một mô hình ngôn ngữ lớn có xu hướng đưa ra lời khuyên tồi tệ, nịnh nọt. Character.AI cấm các bot tự nhận là đưa ra lời khuyên y tế và bao gồm một tuyên bố từ chối trách nhiệm cho người dùng biết họ không nói chuyện với một chuyên gia thực thụ. Báo cáo phát hiện ra những điều đó vẫn đang xảy ra.

"Vẫn là một câu hỏi bỏ ngỏ liệu các tiết lộ yêu cầu người dùng coi các tương tác là hư cấu có đủ hay không khi xét đến cách trình bày mâu thuẫn này, cảm giác chân thực của các cuộc trò chuyện và việc các chatbot sẽ nói rằng chúng là các chuyên gia có giấy phép," các tác giả viết.

Demir cho biết Character.AI đã cố gắng làm rõ rằng người dùng không nhận được lời khuyên y tế khi trò chuyện với chatbot. "Các nhân vật do người dùng tạo ra trên trang web của chúng tôi là hư cấu, chúng được dành cho mục đích giải trí và chúng tôi đã thực hiện các bước mạnh mẽ để làm rõ điều đó." Công ty cũng lưu ý về các mối quan hệ đối tác với các dịch vụ hỗ trợ sức khỏe tâm thần Throughline và Koko để hỗ trợ người dùng. 

Character.AI không phải là công ty AI duy nhất đối mặt với sự giám sát về tác động của chatbot đối với sức khỏe tâm thần. OpenAI đã bị kiện bởi gia đình của những người đã tự tử sau khi tương tác với ChatGPT cực kỳ phổ biến của họ. Công ty đã thêm các tính năng kiểm soát của phụ huynh và thực hiện các bước khác nhằm thắt chặt các rào chắn bảo vệ cho các cuộc trò chuyện liên quan đến sức khỏe tâm thần hoặc tự gây hại.

Các tác giả của báo cáo cho biết các công ty AI cần phải làm nhiều hơn nữa, bao gồm khuyến nghị minh bạch hơn từ các công ty và luật pháp để đảm bảo họ tiến hành thử nghiệm an toàn đầy đủ và phải chịu trách nhiệm nếu không bảo vệ được người dùng.

"Các công ty đứng sau các chatbot này đã liên tục thất bại trong việc kiềm chế bản chất thao túng của sản phẩm của họ," Ben Winters, giám đốc AI và Quyền riêng tư dữ liệu tại CFA, cho biết trong một tuyên bố. "Những kết quả đáng lo ngại này và các vi phạm quyền riêng tư liên tục sẽ ngày càng thúc đẩy hành động từ các cơ quan quản lý và nhà lập pháp trên khắp cả nước."