Chatbot thực sự ấn tượng khi bạn thấy chúng làm những việc chúng giỏi, như viết một email cơ bản hoặc tạo ra những hình ảnh kỳ lạ, mang phong cách tương lai. Nhưng hãy yêu cầu AI tạo sinh giải một trong những câu đố ở cuối một tờ báo, và mọi thứ có thể nhanh chóng đi chệch hướng.

Đó là điều các nhà nghiên cứu tại Đại học Colorado tại Boulder đã phát hiện khi họ thử thách các mô hình ngôn ngữ lớn giải Sudoku. Và thậm chí không phải là những câu đố 9x9 tiêu chuẩn. Một câu đố 6x6 dễ hơn cũng thường nằm ngoài khả năng của một LLM nếu không có sự trợ giúp bên ngoài (trong trường hợp này, các công cụ giải đố chuyên biệt).

Một phát hiện quan trọng hơn xuất hiện khi các mô hình được yêu cầu trình bày cách giải của chúng. Phần lớn, chúng không thể làm được. Đôi khi chúng nói dối. Đôi khi chúng giải thích mọi thứ theo những cách vô nghĩa. Đôi khi chúng bịa đặt và bắt đầu nói về thời tiết.

Nếu các công cụ AI tạo sinh không thể giải thích các quyết định của chúng một cách chính xác hoặc minh bạch, điều đó nên khiến chúng ta thận trọng khi trao cho chúng nhiều quyền kiểm soát hơn đối với cuộc sống và các quyết định của mình, theo Ashutosh Trivedi, giáo sư khoa học máy tính tại Đại học Colorado tại Boulder và là một trong những tác giả của bài báo được xuất bản vào tháng 7 trên tạp chí Findings of the Association for Computational Linguistics.

"Chúng tôi thực sự muốn những lời giải thích đó phải minh bạch và phản ánh đúng lý do AI đưa ra quyết định đó, chứ không phải AI cố gắng thao túng con người bằng cách đưa ra một lời giải thích mà con người có thể thích," Trivedi cho biết.

Bài báo này là một phần của khối lượng nghiên cứu ngày càng tăng về hành vi của các mô hình ngôn ngữ lớn. Các nghiên cứu gần đây khác đã phát hiện ra, ví dụ, rằng các mô hình bịa đặt một phần vì quy trình đào tạo của chúng khuyến khích chúng tạo ra kết quả mà người dùng sẽ thích, thay vì những gì chính xác, hoặc rằng những người sử dụng LLM để giúp họ viết luận văn thì ít có khả năng nhớ những gì họ đã viết hơn. Khi AI tạo sinh ngày càng trở thành một phần trong cuộc sống hàng ngày của chúng ta, những hàm ý về cách công nghệ này hoạt động và cách chúng ta hành xử khi sử dụng nó trở nên vô cùng quan trọng.

Khi bạn đưa ra một quyết định, bạn có thể cố gắng biện minh hoặc ít nhất là giải thích cách bạn đạt được nó. Một mô hình AI có thể không thể làm điều tương tự một cách chính xác hoặc minh bạch. Bạn có tin tưởng nó không?

Tại sao LLM gặp khó khăn với Sudoku

Chúng ta đã thấy các mô hình AI thất bại trong các trò chơi và câu đố cơ bản trước đây. ChatGPT của OpenAI (trong số những mô hình khác) đã bị đánh bại hoàn toàn trong cờ vua bởi đối thủ máy tính trong một trò chơi Atari năm 1979. Một bài nghiên cứu gần đây từ Apple đã phát hiện ra rằng các mô hình có thể gặp khó khăn với các câu đố khác, như Tháp Hà Nội.

Điều này liên quan đến cách LLM hoạt động và điền vào các khoảng trống thông tin. Các mô hình này cố gắng hoàn thành những khoảng trống đó dựa trên những gì xảy ra trong các trường hợp tương tự trong dữ liệu đào tạo của chúng hoặc những điều khác mà chúng đã thấy trong quá khứ. Với Sudoku, vấn đề là về logic. AI có thể cố gắng điền vào từng khoảng trống theo thứ tự, dựa trên những gì có vẻ là một câu trả lời hợp lý, nhưng để giải quyết đúng cách, nó phải nhìn vào bức tranh tổng thể và tìm ra một thứ tự logic thay đổi tùy theo từng câu đố. 

Chatbot kém cỏi trong cờ vua vì một lý do tương tự. Chúng tìm ra các nước đi hợp lý tiếp theo nhưng không nhất thiết phải suy nghĩ trước ba, bốn hoặc năm nước đi – kỹ năng cơ bản cần thiết để chơi cờ vua giỏi. Chatbot đôi khi cũng có xu hướng di chuyển các quân cờ theo những cách không tuân thủ luật hoặc đặt các quân cờ vào tình thế nguy hiểm vô nghĩa. 

Bạn có thể mong đợi LLM có thể giải Sudoku vì chúng là máy tính và câu đố bao gồm các con số, nhưng bản thân các câu đố không thực sự là toán học; chúng mang tính biểu tượng. "Sudoku nổi tiếng là một câu đố với các con số nhưng có thể được thực hiện với bất cứ thứ gì không phải là số," Fabio Somenzi, giáo sư tại CU và là một trong những tác giả của bài nghiên cứu, cho biết.

Tôi đã sử dụng một câu lệnh mẫu từ bài báo của các nhà nghiên cứu và đưa cho ChatGPT. Công cụ này đã trình bày cách giải của nó và liên tục nói với tôi rằng nó đã có câu trả lời trước khi hiển thị một câu đố không đúng, rồi quay lại sửa chữa. Cứ như thể bot đang nộp một bài thuyết trình liên tục được chỉnh sửa vào phút chót: Đây là câu trả lời cuối cùng. Không, thực ra, không sao đâu, đây mới là câu trả lời cuối cùng. Cuối cùng nó cũng có được câu trả lời, thông qua thử và sai. Nhưng thử và sai không phải là một cách thực tế để một người giải Sudoku trên báo. Điều đó đòi hỏi quá nhiều lần xóa và làm mất đi sự thú vị.

AI và robot có thể giỏi chơi game nếu chúng được xây dựng để chơi chúng, nhưng các công cụ đa năng như mô hình ngôn ngữ lớn có thể gặp khó khăn với các câu đố logic. Ore Huiying/Bloomberg/Getty Images

AI gặp khó khăn trong việc trình bày cách giải của nó

Các nhà nghiên cứu Colorado không chỉ muốn xem liệu các bot có thể giải câu đố hay không. Họ đã yêu cầu giải thích về cách các bot giải quyết chúng. Mọi việc không suôn sẻ.

Khi thử nghiệm mô hình suy luận o1-preview của OpenAI, các nhà nghiên cứu đã thấy rằng các lời giải thích -- ngay cả đối với những câu đố đã được giải đúng -- cũng không giải thích hoặc biện minh chính xác cho các nước đi của chúng và mắc lỗi sai cơ bản về thuật ngữ. 

"Một điều mà chúng giỏi là cung cấp những lời giải thích có vẻ hợp lý," Maria Pacheco, trợ lý giáo sư khoa học máy tính tại CU, cho biết. "Chúng tương thích với con người, vì vậy chúng học cách nói chuyện theo cách chúng ta thích, nhưng liệu chúng có trung thực với các bước thực tế cần thiết để giải quyết vấn đề hay không thì đó là nơi chúng ta đang gặp một chút khó khăn."

Đôi khi, các lời giải thích hoàn toàn không liên quan. Kể từ khi công việc của bài báo hoàn thành, các nhà nghiên cứu đã tiếp tục thử nghiệm các mô hình mới được phát hành. Somenzi cho biết rằng khi ông và Trivedi chạy mô hình suy luận o4 của OpenAI qua các bài kiểm tra tương tự, tại một thời điểm, nó dường như đã bỏ cuộc hoàn toàn. 

"Câu hỏi tiếp theo mà chúng tôi hỏi, câu trả lời là dự báo thời tiết cho Denver," ông nói.

(Tiết lộ: Ziff Davis, công ty mẹ của CNET, vào tháng 4 đã đệ đơn kiện OpenAI, cáo buộc công ty này vi phạm bản quyền của Ziff Davis trong việc đào tạo và vận hành các hệ thống AI của mình.)

Các mô hình tốt hơn vẫn kém cỏi ở những điều quan trọng

Các nhà nghiên cứu tại Colorado không phải là những người duy nhất thử thách các mô hình ngôn ngữ bằng Sudoku. Sakana AI đã thử nghiệm mức độ hiệu quả của các mô hình khác nhau trong việc giải các câu đố kể từ tháng 5. Bảng xếp hạng của nó cho thấy các mô hình mới hơn, đặc biệt là GPT-5 của OpenAI, có tỷ lệ giải tốt hơn nhiều so với các phiên bản tiền nhiệm. GPT-5 là mô hình đầu tiên trong các thử nghiệm này giải được một biến thể câu đố Sudoku hiện đại 9x9 có tên là Theta. Tuy nhiên, LLM vẫn gặp khó khăn với suy luận thực tế, trái ngược với việc giải quyết vấn đề bằng tính toán, các nhà nghiên cứu của Sakana đã viết trong một bài đăng trên blog. "Mặc dù GPT-5 đã thể hiện khả năng suy luận toán học ấn tượng và tư duy chiến lược giống con người đối với các câu đố bị giới hạn đại số, nhưng nó lại gặp khó khăn đáng kể với các thách thức suy luận không gian đòi hỏi sự hiểu biết về không gian," họ viết. 

Nhóm nghiên cứu Colorado cũng phát hiện ra rằng GPT-5 là một "bước tiến đáng kể" nhưng vẫn chưa thực sự giỏi giải Sudoku. GPT-5 vẫn kém cỏi trong việc giải thích cách nó đi đến một giải pháp, họ nói. Trong một thử nghiệm, nhóm Colorado phát hiện ra rằng mô hình đã giải thích rằng nó đặt một số vào câu đố mà số đó đã có sẵn trong câu đố. 

"Nhìn chung, kết luận của chúng tôi từ nghiên cứu ban đầu vẫn không thay đổi: đã có tiến bộ trong khả năng giải thô, nhưng chưa có tiến bộ trong các lời giải thích đáng tin cậy, từng bước," nhóm Colorado cho biết trong một email.

Giải thích bản thân là một kỹ năng quan trọng

Khi bạn giải một câu đố, bạn gần như chắc chắn có thể hướng dẫn người khác hiểu suy nghĩ của mình. Việc các LLM này thất bại một cách ngoạn mục ở công việc cơ bản đó không phải là một vấn đề nhỏ. Với các công ty AI liên tục nói về "các AI agent" có thể thực hiện hành động thay mặt bạn, khả năng giải thích bản thân là điều cần thiết.

Hãy xem xét các loại công việc đang được giao cho AI hiện nay, hoặc được lên kế hoạch trong tương lai gần: lái xe, làm thuế, quyết định chiến lược kinh doanh và dịch các tài liệu quan trọng. Hãy tưởng tượng điều gì sẽ xảy ra nếu bạn, một người, làm một trong những việc đó và có điều gì đó không ổn.

"Khi con người phải đối mặt với các quyết định của mình, họ tốt hơn hết nên có khả năng giải thích điều gì đã dẫn đến quyết định đó," Somenzi cho biết.

Đó không chỉ là vấn đề nhận được một câu trả lời nghe có vẻ hợp lý. Nó cần phải chính xác. Một ngày nào đó, lời giải thích của một AI về bản thân nó có thể phải được đưa ra trước tòa án, nhưng làm sao lời khai của nó có thể được coi trọng nếu nó đã được biết là nói dối? Bạn sẽ không tin tưởng một người không thể giải thích bản thân họ, và bạn cũng sẽ không tin tưởng một người mà bạn phát hiện ra là đang nói những gì bạn muốn nghe thay vì sự thật. 

"Việc có một lời giải thích rất gần với sự thao túng nếu nó được thực hiện vì lý do sai," Trivedi cho biết. "Chúng ta phải rất cẩn thận về tính minh bạch của những lời giải thích này."