Sẽ ra sao nếu việc xây dựng cùng một ứng dụng chín lần cho kết quả gần như giống hệt nhau, bất kể AI đằng sau nó tinh vi đến mức nào? Trong bài hướng dẫn này, Matt Maher cho thấy việc thử nghiệm với tám mô hình AI khác nhau để tạo ra Tài liệu Yêu cầu Sản phẩm (PRD) đã dẫn đến một khám phá bất ngờ: trí thông minh của AI có tác động đến sản phẩm cuối cùng ít hơn nhiều so với dự kiến. Thay vào đó, yếu tố thực sự quan trọng là hệ thống lập kế hoạch—một nhân tố thường bị bỏ qua trong các cuộc thảo luận về phát triển dựa trên AI. Kết quả bất ngờ này thách thức giả định rằng AI thông minh hơn sẽ tự động dẫn đến kết quả tốt hơn và đặt ra những câu hỏi quan trọng về cách duy trì ý đồ và tầm nhìn trong suốt quá trình phát triển.

Bài tổng quan này đi sâu vào các chi tiết thú vị của cuộc thử nghiệm, tiết lộ lý do tại sao chất lượng của PRD không phải lúc nào cũng chuyển hóa thành một bản dựng vượt trội và cách sự mất mát ý đồ trong quá trình lập kế hoạch âm thầm làm suy yếu tầm nhìn ban đầu. Bạn sẽ khám phá lý do tại sao ngay cả những mô hình AI tiên tiến nhất cũng có thể thất bại nếu không có các hệ thống mạnh mẽ để thu hẹp khoảng cách giữa ý tưởng và thực thi. Cho dù bạn là nhà phát triển, quản lý sản phẩm hay chỉ đơn giản là tò mò về vai trò của AI trong phát triển ứng dụng, khám phá này sẽ khiến bạn phải suy nghĩ lại về điều gì thực sự thúc đẩy thành công trong việc xây dựng phần mềm. Kết quả có vẻ không hợp lý ngay từ cái nhìn đầu tiên, nhưng chúng mang lại những bài học quý giá cho bất kỳ ai đang điều hướng tại điểm giao thoa giữa AI và sự sáng tạo của con người.

Trí tuệ của mô hình AI đối đầu với việc lập kế hoạch

Tóm tắt các điểm chính :

• Trí thông minh của các mô hình AI có tác động tối thiểu đến chất lượng của các bản dựng ứng dụng cuối cùng; hệ thống lập kế hoạch và việc duy trì ý đồ là những yếu tố quan trọng hơn đối với thành công.
• Mặc dù sử dụng PRD từ tám mô hình AI khác nhau, các bản dựng cuối cùng gần như giống hệt nhau do sự tiêu chuẩn hóa được thực thi bởi hệ thống lập kế hoạch.
• Một thách thức đáng kể được xác định là sự mất mát ý đồ trong quá trình chuyển đổi từ PRD sang bản dựng, với 20-30% yêu cầu thường bị lược bỏ một cách âm thầm.
• Các giải pháp được đề xuất bao gồm việc lập tài liệu rõ ràng về lý do đằng sau mỗi tính năng trong PRD và kiểm tra lặp đi lặp lại các kế hoạch phát triển so với PRD gốc để ngăn chặn sự thiếu sót.
• Thử nghiệm nhấn mạnh nhu cầu ưu tiên các hệ thống lập kế hoạch mạnh mẽ và duy trì ý đồ thay vì chỉ dựa vào các mô hình AI tiên tiến để có kết quả phát triển tốt hơn.

Các mô hình AI thông minh hơn có dẫn đến các PRD tốt hơn không?

Thử nghiệm nhằm đánh giá liệu các mô hình AI tiên tiến, chẳng hạn như GPT52 Pro, có thể tạo ra các PRD vượt trội dẫn đến các bản dựng ứng dụng chất lượng cao hơn hay không. Để duy trì tính nhất quán, cùng một ứng dụng, một công cụ tìm kiếm tập trung vào văn bản, đã được xây dựng chín lần bằng cách sử dụng các PRD do tám mô hình AI khác nhau tạo ra. Một hệ thống xây dựng thống nhất, Claude Code với Opus 45 trong chế độ lập kế hoạch, đã được sử dụng trong suốt quá trình.

Giả thuyết rất đơn giản: các mô hình AI thông minh hơn sẽ tạo ra các PRD chi tiết và hiệu quả hơn, dẫn đến các bản dựng tốt hơn. Tuy nhiên, kết quả lại trái ngược với mong đợi. Bất chấp các mức độ tinh vi khác nhau trong các PRD, các bản dựng cuối cùng vẫn tương tự nhau một cách đáng kinh ngạc. Kết quả này làm nổi bật một nhận thức quan trọng: hệ thống lập kế hoạch đóng vai trò quan trọng hơn trong việc định hình kết quả so với chính trí thông minh của mô hình AI.

Phát hiện chính: sự nhất quán giữa các mô hình

Thử nghiệm tiết lộ rằng các bản dựng cuối cùng gần như giống hệt nhau, bất kể mô hình AI nào được sử dụng để tạo PRD. Trong khi các PRD khác nhau về chi tiết và độ phức tạp, hệ thống xây dựng đã tiêu chuẩn hóa kết quả. Sự nhất quán này nhấn mạnh tầm quan trọng của hệ thống lập kế hoạch trong việc xác định thành công của quá trình phát triển.

Hệ thống lập kế hoạch đã trung hòa hiệu quả những khác biệt về chất lượng PRD, đảm bảo kết quả đồng nhất. Mặc dù điều này có vẻ có lợi, nhưng nó cũng bộc lộ một thách thức đáng kể: sự mất mát ý đồ trong quá trình phát triển. Sự mất mát âm thầm này thường tạo ra khoảng cách giữa tầm nhìn ban đầu và sản phẩm cuối cùng, đặt ra câu hỏi về tính hiệu quả của các phương pháp lập kế hoạch hiện tại.

Tôi đã xây dựng cùng một ứng dụng 9 lần, kết quả thật vô lý

Thách thức: mất mát ý đồ và thiếu hụt yêu cầu

Một trong những thách thức lớn nhất được phát hiện là sự mất mát ý đồ, tức là lý do đằng sau các tính năng cụ thể, trong quá trình chuyển đổi từ PRD sang bản dựng. Ngay cả khi các PRD chi tiết và toàn diện, quá trình lập kế hoạch thường lược bỏ 20-30% các yêu cầu đã nêu. Sự bỏ sót âm thầm này tạo ra sự mất kết nối giữa tầm nhìn ban đầu và sản phẩm cuối cùng.

Ví dụ, một tính năng được thiết kế để nâng cao trải nghiệm người dùng có thể được đưa vào PRD nhưng lại bị loại bỏ trong quá trình lập kế hoạch do nhận thấy tính phức tạp hoặc thiếu sự rõ ràng. Nếu không duy trì được lý do "tại sao" đằng sau tính năng đó, việc lược bỏ nó có thể không được nhận ra cho đến khi bản dựng cuối cùng không đáp ứng được mong đợi. Vấn đề này nhấn mạnh nhu cầu về một cách tiếp cận mạnh mẽ hơn để duy trì ý đồ trong suốt quá trình phát triển.

Giải quyết vấn đề: các giải pháp để duy trì ý đồ

Để giải quyết những thách thức này, hai giải pháp chính đã được đề xuất nhằm đảm bảo ý đồ được duy trì và các yêu cầu được thực hiện đầy đủ:

• Ghi lại ý đồ trong PRD: Các bản PRD nên bao gồm rõ ràng lý do căn bản đằng sau mỗi tính năng. Bằng cách giải thích lý do đằng sau mọi yêu cầu, các nhà phát triển và hệ thống lập kế hoạch có thể hiểu rõ hơn về tầm quan trọng của từng tính năng, giảm khả năng xảy ra thiếu sót trong giai đoạn lập kế hoạch và thực thi.
• Xác minh lặp đi lặp lại các kế hoạch: Các kế hoạch phát triển nên được kiểm tra lặp đi lặp lại so với PRD gốc để đảm bảo tất cả các yêu cầu đều được tính đến. Quá trình này bao gồm việc so sánh một cách hệ thống các tính năng đã lập kế hoạch với tài liệu gốc để xác định và giải quyết các lỗ hổng sớm, ngăn chặn các vấn đề lan rộng trong quá trình phát triển.

Các giải pháp này nhấn mạnh tầm quan trọng của việc duy trì kết nối rõ ràng giữa ý tưởng ban đầu và quá trình thực hiện. Bằng cách tập trung vào việc duy trì ý đồ và xác minh tính đầy đủ ở mọi giai đoạn, các nhà phát triển có thể đạt được kết quả chính xác và hiệu quả hơn.

Hệ quả: suy nghĩ lại về vai trò của AI trong phát triển

Các phát hiện cho thấy sự tinh vi của các mô hình AI ít quan trọng hơn sự mạnh mẽ của hệ thống lập kế hoạch. Trong khi các mô hình tiên tiến có thể tạo ra các PRD chi tiết, giá trị của chúng sẽ giảm đi nếu hệ thống lập kế hoạch không duy trì được ý đồ hoặc không bao gồm tất cả các yêu cầu. Điều này chuyển trọng tâm từ trí thông minh của các mô hình AI sang các quy trình thu hẹp khoảng cách giữa một ý tưởng và quá trình thực thi nó.

Đối với các nhà phát triển, điều này có nghĩa là ưu tiên các công cụ và phương pháp đảm bảo ý đồ tồn tại qua tất cả các giai đoạn phát triển. Bằng cách đó, bạn có thể đạt được kết quả bám sát hơn với tầm nhìn ban đầu của mình, bất kể mô hình AI nào được sử dụng. Thử nghiệm nhấn mạnh tầm quan trọng của việc tinh chỉnh các hệ thống lập kế hoạch và áp dụng các phương pháp bảo vệ tính toàn vẹn của khái niệm ban đầu.

Thu hẹp khoảng cách giữa tầm nhìn và thực thi

Thử nghiệm này làm nổi bật một hiểu biết quan trọng: khoảng cách giữa một ý tưởng và quá trình thực hiện nó thường bắt nguồn từ những mất mát âm thầm trong quá trình bàn giao, chứ không phải do trí thông minh của mô hình AI. Mặc dù các mô hình tiên tiến có thể tăng cường quá trình phát triển, nhưng tác động của chúng bị hạn chế nếu không có hệ thống lập kế hoạch mạnh mẽ và sự tập trung vào việc duy trì ý đồ.

Với tư cách là một nhà phát triển, ưu tiên của bạn nên là bảo vệ ý đồ và xác minh tính đầy đủ ở mọi giai đoạn của quy trình. Bằng cách giải quyết những thách thức này, bạn có thể đảm bảo rằng các bản dựng cuối cùng phản ánh tầm nhìn ban đầu của mình, mang lại kết quả đáp ứng mong đợi và phù hợp với mục đích dự định. Cách tiếp cận này không chỉ cải thiện chất lượng của sản phẩm cuối cùng mà còn củng cố mối liên kết giữa ý tưởng ban đầu và sự hiện thực hóa nó.