Các trung tâm dữ liệu quá chậm, kém bảo mật và đắt đỏ so với những cách thức thực sự hữu ích mà chúng ta sẽ sử dụng trí tuệ nhân tạo.
Khi tôi nhấn vào ứng dụng của Anthropic dành cho Claude AI trên điện thoại và đưa ra một yêu cầu - ví dụ: "Hãy kể cho tôi nghe một câu chuyện về một chú mèo tinh nghịch" - rất nhiều điều sẽ xảy ra trước khi kết quả (Vụ trộm cá ngừ vĩ đại) xuất hiện trên màn hình của tôi.
Yêu cầu của tôi được gửi lên đám mây - một máy tính trong một trung tâm dữ liệu lớn ở đâu đó - để chạy qua mô hình ngôn ngữ lớn Claude Sonnet 4.5. Mô hình này lắp ghép một câu trả lời hợp lý bằng cách sử dụng văn bản dự đoán nâng cao, dựa trên lượng dữ liệu khổng lồ mà nó đã được đào tạo. Câu trả lời đó sau đó được định tuyến quay lại iPhone của tôi, xuất hiện từng chữ, từng dòng trên màn hình. Nó đã đi hàng trăm, thậm chí hàng nghìn dặm và đi qua nhiều máy tính trong hành trình đến và đi từ chiếc điện thoại nhỏ bé của tôi. Và tất cả đều diễn ra trong vài giây.
Hệ thống này hoạt động tốt nếu việc bạn đang làm ít rủi ro và tốc độ không thực sự là vấn đề. Tôi có thể đợi vài giây để nghe câu chuyện nhỏ về Whiskers và chuyến phiêu lưu mạo hiểm của nó trong tủ bếp. Nhưng không phải mọi tác vụ cho trí tuệ nhân tạo đều như vậy. Một số đòi hỏi tốc độ cực nhanh. Nếu một thiết bị AI định cảnh báo ai đó về một vật cản trên đường đi của họ, nó không thể đủ khả năng để chờ đợi một hoặc hai giây.
Các yêu cầu khác đòi hỏi sự riêng tư hơn. Tôi không quan tâm liệu câu chuyện về chú mèo có đi qua hàng chục máy tính thuộc sở hữu của những người và công ty mà tôi không biết và có thể không tin tưởng hay không. Nhưng còn thông tin sức khỏe của tôi, hay dữ liệu tài chính của tôi thì sao? Tôi có thể muốn giữ kín những thông tin đó hơn.
Tốc độ và sự riêng tư là hai lý do chính khiến các nhà phát triển công nghệ ngày càng chuyển quá trình xử lý AI từ các trung tâm dữ liệu khổng lồ của doanh nghiệp sang các thiết bị cá nhân như điện thoại, máy tính xách tay hoặc đồng hồ thông minh của bạn. Ngoài ra còn có lợi ích về tiết kiệm chi phí: Không cần phải trả tiền cho một đơn vị vận hành trung tâm dữ liệu lớn. Thêm vào đó, các mô hình trên thiết bị có thể hoạt động mà không cần kết nối internet.
Nhưng để thực hiện sự chuyển dịch này cần có phần cứng tốt hơn và các mô hình AI hiệu quả hơn - thường là chuyên dụng hơn. Sự hội tụ của hai yếu tố đó cuối cùng sẽ định hình tốc độ và mức độ liền mạch của trải nghiệm trên các thiết bị như điện thoại của bạn.
Mahadev Satyanarayanan, thường được gọi là Satya, là giáo sư khoa học máy tính tại Đại học Carnegie Mellon. Ông đã nghiên cứu từ lâu về cái gọi là điện toán biên (edge computing) - khái niệm xử lý và lưu trữ dữ liệu càng gần người dùng thực tế càng tốt. Ông nói rằng mô hình lý tưởng cho điện toán biên thực thụ là bộ não con người, vốn không đẩy các tác vụ như thị giác, nhận diện, giọng nói hay trí thông minh lên bất kỳ loại "đám mây" nào. Tất cả đều diễn ra ngay tại đó, hoàn toàn "trên thiết bị".
"Có một vấn đề: Tự nhiên phải mất một tỷ năm để tiến hóa chúng ta," ông nói với tôi. "Chúng ta không có một tỷ năm để chờ đợi. Chúng ta đang cố gắng thực hiện điều này trong 5 năm hoặc 10 năm, nhiều nhất là như vậy. Làm thế nào để chúng ta đẩy nhanh tốc độ tiến hóa?"
Bạn đẩy nhanh tốc độ đó bằng AI tốt hơn, nhanh hơn, nhỏ hơn chạy trên phần cứng tốt hơn, nhanh hơn, nhỏ hơn. Và như chúng ta đã thấy với các ứng dụng và thiết bị mới nhất - bao gồm cả những thứ chúng ta đã thấy tại CES 2026 - điều này đang được tiến hành thuận lợi.
AI trên thiết bị không phải là điều gì mới mẻ. Bạn còn nhớ vào năm 2017 khi lần đầu tiên bạn có thể mở khóa iPhone bằng cách đưa nó lên trước mặt không? Công nghệ nhận diện khuôn mặt đó đã sử dụng một công cụ thần kinh (neural engine) trên thiết bị – nó không phải là AI tạo sinh như Claude hay ChatGPT, nhưng nó là trí tuệ nhân tạo cơ bản.
Các dòng iPhone ngày nay sử dụng một mô hình AI trên thiết bị mạnh mẽ và linh hoạt hơn nhiều. Nó có khoảng 3 tỷ tham số - các phép tính trọng số riêng lẻ được gán cho một xác suất trong một mô hình ngôn ngữ. Con số này tương đối nhỏ so với các mô hình đa dụng lớn mà hầu hết các chatbot AI đang chạy. Deepseek-R1 chẳng hạn, có 671 tỷ tham số. Nhưng nó không nhằm mục đích làm mọi thứ. Thay vào đó, nó được xây dựng cho các tác vụ cụ thể trên thiết bị như tóm tắt tin nhắn. Giống như công nghệ nhận diện khuôn mặt để mở khóa điện thoại, đây là thứ không thể phụ thuộc vào kết nối internet để chạy một mô hình trên đám mây.
Apple đã tăng cường khả năng AI trên thiết bị của mình - được gọi là Apple Intelligence - để bao gồm các tính năng nhận diện hình ảnh, chẳng hạn như cho phép bạn tra cứu những thứ bạn đã chụp ảnh màn hình.
Các mô hình AI trên thiết bị có mặt ở khắp mọi nơi. Điện thoại Pixel của Google chạy mô hình Gemini Nano của công ty trên chip Tensor G5 tùy chỉnh. Mô hình đó cung cấp sức mạnh cho các tính năng như Magic Cue, giúp hiển thị thông tin từ email, tin nhắn của bạn và hơn thế nữa - ngay khi bạn cần - mà không cần bạn phải tìm kiếm thủ công.
Các nhà phát triển điện thoại, máy tính xách tay, máy tính bảng và phần cứng bên trong chúng đang xây dựng các thiết bị chú trọng đến AI. Nhưng nó còn xa hơn thế. Hãy nghĩ về đồng hồ và kính thông minh, những thiết bị cung cấp không gian hạn chế hơn nhiều so với ngay cả chiếc điện thoại mỏng nhất?
"Những thách thức về hệ thống là rất khác nhau," Vinesh Sukumar, trưởng bộ phận AI tạo sinh và học máy tại Qualcomm cho biết. "Tôi có thể làm tất cả trên mọi thiết bị không?"
Hiện tại, câu trả lời thường là không. Giải pháp khá đơn giản. Khi một yêu cầu vượt quá khả năng của mô hình, nó sẽ chuyển tác vụ sang một mô hình dựa trên đám mây. Nhưng tùy thuộc vào cách quản lý quá trình chuyển giao đó, nó có thể làm giảm đi một trong những lợi ích chính của AI trên thiết bị: giữ toàn bộ dữ liệu trong tay bạn.
Các chuyên gia liên tục chỉ ra quyền riêng tư và bảo mật là những lợi thế chính của AI trên thiết bị. Trong tình huống đám mây, dữ liệu bay khắp nơi và đối mặt với nhiều khoảnh khắc dễ bị tổn thương hơn. Nếu nó vẫn nằm trên ổ đĩa điện thoại hoặc máy tính xách tay đã được mã hóa, nó sẽ dễ bảo mật hơn nhiều.
Dữ liệu được các mô hình AI trên thiết bị của bạn sử dụng có thể bao gồm những thứ như sở thích, lịch sử duyệt web hoặc thông tin vị trí của bạn. Mặc dù tất cả những điều đó đều cần thiết để AI cá nhân hóa trải nghiệm của bạn dựa trên sở thích, nhưng đó cũng là loại thông tin mà bạn có thể không muốn rơi vào tay kẻ xấu.
"Những gì chúng tôi đang thúc đẩy là đảm bảo người dùng có quyền truy cập và là chủ sở hữu duy nhất của dữ liệu đó," Sukumar nói.
Apple Intelligence đã mang lại cho Siri một diện mạo mới trên iPhone. Numi Prasarn/CNET
Có một vài cách khác nhau để xử lý việc chuyển giao thông tin nhằm bảo vệ quyền riêng tư của bạn. Một yếu tố then chốt là bạn phải cấp phép để việc đó xảy ra. Sukumar cho biết mục tiêu của Qualcomm là đảm bảo mọi người được thông tin và có khả năng từ chối khi một mô hình đạt đến điểm cần chuyển giao lên đám mây.
Một cách tiếp cận khác - và là cách có thể hoạt động song song với yêu cầu sự cho phép của người dùng - là đảm bảo rằng bất kỳ dữ liệu nào được gửi lên đám mây đều được xử lý an toàn, ngắn gọn và tạm thời. Apple chẳng hạn, sử dụng công nghệ mà họ gọi là Private Cloud Compute. Dữ liệu được chuyển giao chỉ được xử lý trên các máy chủ riêng của Apple, chỉ dữ liệu tối thiểu cần thiết cho tác vụ mới được gửi đi và không có dữ liệu nào được lưu trữ hoặc cho phép Apple truy cập.
Các mô hình AI chạy trên thiết bị mang lại lợi thế cho cả nhà phát triển ứng dụng và người dùng ở chỗ chi phí vận hành chúng liên tục về cơ bản là bằng không. Không có công ty dịch vụ đám mây nào phải trả tiền cho năng lượng và sức mạnh tính toán. Tất cả đều nằm trong điện thoại của bạn. Túi của bạn chính là trung tâm dữ liệu.
Đó là điều đã thu hút Charlie Chapman, nhà phát triển của ứng dụng máy tạo tiếng ồn có tên Dark Noise, sử dụng Apple Foundation Models Framework cho một công cụ cho phép bạn tạo ra một bản phối các âm thanh. Mô hình AI trên thiết bị không tạo ra âm thanh mới, chỉ chọn các âm thanh hiện có và mức âm lượng khác nhau để tạo thành một bản phối.
Bởi vì AI đang chạy trên thiết bị, nên không có chi phí phát sinh liên tục khi bạn thực hiện các bản phối của mình. Đối với một nhà phát triển nhỏ như Chapman, điều đó có nghĩa là ít rủi ro hơn liên quan đến quy mô cơ sở người dùng của ứng dụng. "Nếu một người có sức ảnh hưởng nào đó tình cờ đăng bài về nó và tôi nhận được một lượng lớn người dùng miễn phí, điều đó không có nghĩa là tôi sẽ đột nhiên bị phá sản," Chapman nói.
Việc AI trên thiết bị không tốn chi phí phát sinh cho phép các tác vụ nhỏ, lặp đi lặp lại như nhập dữ liệu được tự động hóa mà không tốn kém chi phí lớn hay các hợp đồng điện toán, Chapman cho biết. Nhược điểm là các mô hình trên thiết bị khác nhau tùy theo thiết bị, vì vậy các nhà phát triển sẽ phải nỗ lực nhiều hơn nữa để đảm bảo ứng dụng của họ hoạt động trên các phần cứng khác nhau.
Càng nhiều tác vụ AI được xử lý trên các thiết bị tiêu dùng, các công ty AI càng ít phải chi tiêu cho việc xây dựng trung tâm dữ liệu khổng lồ vốn đang khiến mọi công ty công nghệ lớn phải tranh giành tiền bạc và chip máy tính. "Chi phí cơ sở hạ tầng là rất lớn," Sukumar nói. "Nếu bạn thực sự muốn thúc đẩy quy mô, bạn sẽ không muốn đẩy gánh nặng chi phí đó đi."
Đối với những người sáng tạo sử dụng AI để chỉnh sửa video hoặc ảnh, việc chạy các mô hình đó trên phần cứng của riêng bạn có lợi thế là tránh được các phí đăng ký hoặc sử dụng dựa trên đám mây đắt đỏ. Tại CES, chúng ta đã thấy các máy tính chuyên dụng hoặc thiết bị chuyên dụng, như Nvidia DGX Spark, có thể cung cấp sức mạnh cho các mô hình tạo video chuyên sâu như Lightricks-2.
Đặc biệt khi nói đến các chức năng trên các thiết bị như kính, đồng hồ và điện thoại, phần lớn tính hữu ích thực sự của AI và học máy không giống như chatbot mà tôi đã sử dụng để tạo ra câu chuyện về chú mèo ở đầu bài viết này. Đó là những thứ như nhận dạng vật thể, điều hướng và dịch thuật. Những thứ đó đòi hỏi các mô hình và phần cứng chuyên dụng hơn - nhưng chúng cũng đòi hỏi tốc độ nhanh hơn.
Satya, giáo sư tại Carnegie Mellon, đã nghiên cứu các cách sử dụng khác nhau của các mô hình AI và liệu chúng có thể hoạt động chính xác và đủ nhanh bằng các mô hình trên thiết bị hay không. Khi nói đến phân loại hình ảnh vật thể, công nghệ ngày nay đang hoạt động khá tốt - nó có thể mang lại kết quả chính xác trong vòng 100 mili giây. "Năm năm trước, chúng ta chưa thể đạt được độ chính xác và tốc độ như vậy," ông nói.
Ảnh chụp màn hình video được ghi lại bằng kính AI Oakley Meta Vanguard hiển thị các chỉ số tập luyện được lấy từ đồng hồ Garmin đi kèm. Vanessa Hand Orellana/CNET
Nhưng đối với bốn tác vụ khác - phát hiện vật thể, phân đoạn tức thời (khả năng nhận diện vật thể và hình dạng của chúng), nhận dạng hoạt động và theo dõi vật thể - các thiết bị vẫn cần chuyển giao cho một máy tính mạnh hơn ở nơi khác.
"Tôi nghĩ trong vài năm tới, khoảng 5 năm nữa, sẽ rất thú vị khi các nhà cung cấp phần cứng tiếp tục cố gắng làm cho các thiết bị di động được tinh chỉnh tốt hơn cho AI," Satya nói. "Đồng thời, bản thân các thuật toán AI cũng ngày càng mạnh mẽ hơn, chính xác hơn và đòi hỏi nhiều tính toán hơn."
Cơ hội là vô cùng lớn. Satya cho biết các thiết bị trong tương lai có thể sử dụng thị giác máy tính để cảnh báo bạn trước khi bạn vấp phải một đoạn đường gồ ghề hoặc nhắc bạn nhớ mình đang nói chuyện với ai và cung cấp ngữ cảnh về các cuộc trao đổi trước đây của bạn với họ. Những loại hình này sẽ yêu cầu AI chuyên dụng hơn và phần cứng chuyên dụng hơn.
"Những điều này sẽ xuất hiện," Satya nói. "Chúng ta có thể thấy chúng ở phía chân trời, nhưng chúng vẫn chưa xuất hiện ở đây."
