Dù từng được mệnh danh sẽ thay đổi ngành lập trình tương lai, tuy nhiên cơn sốt ChatGPT ngày càng tỏ nên thiếu chính xác với những câu hỏi mang tính chuyên môn cao. Các nhà nghiên cứu tại đại học Purdue, Mỹ trong khảo sát mới đây cho hay ChatGPT chỉ chả lời chính xác 1/2 số câu hỏi liên quan tới lập trình.

Sử dụng 517 câu hỏi từ website Stack Overflow cùng những đáp án chính xác, được đánh giá cao nhất, nhóm hỏi chính những câu hỏi này tới ChatGPT. Câu trả lời của ChatGPT sau đó được đưa tới những người tình nguyện đánh giá, thử nghiệm kết quả đoạn mã mà ChatGPT cung cấp cho người dùng.

Kết quả, nhóm nghiên cứu cho hay 52% các câu trả lời của ChatGPT đưa ra sai trong khi đó 77% quá dài dòng. Mặc dù vậy, với văn phòng rõ ràng cùng cách diễn đạt tiếp cận người xem, nhiều người vẫn tin tưởng vào tiện ích trực tuyến này.

"Trong nghiên cứu của chúng tôi, chúng tôi quan sát được chỉ khi đoạn mã ChatGPT đưa ra sai quá nhiều, người dùng mới để ý tới lỗi. Tuy nhiên, khi các đoạn lỗi không rõ ràng hoặc cần thêm tài liệu từ các bên thứ ba để xác thực, người sử dụng có xu hướng tin vào những gì ChatGPT đưa ra", nhóm nghiên cứu cho hay.

"Từ cấu trúc câu trả lời phân tách rõ ràng cho tới sự lịch thiệp trong ngôn ngữ giao tiếp, cách thức giải thích vấn đề theo từng khối cũng như dẫn nguồn các thông tin liên quan khiến các câu trả lời sai của ChatGPT lại thành đúng đắn trong mắt người dùng", báo cáo cho biết thêm.

Nhà nghiên cứu Samia Kabir thuộc nhóm nghiên cứu cho rằng so với các câu trả lời trên Stack Overflow, của những lập trình viên thật sự trả lời cho những lập trình viên khác, đáp án được ChatGPT đưa ra thiếu tính liên kết thực tế, không có những cảnh báo liên quan khi sử dụng đoạn mã giống với Stack Overflow, tiện ích trên chỉ tập trung giải quyết vấn đề trước mắt mà không đưa cho người dùng những gợi ý để phát triển đoạn mã lâu dài.

Bà cho biết thêm, bằng việc phối hợp những cụm từ có ý nghĩa chắc chắn, ChatGPT khiến người dùng lầm tưởng về sự chính xác của trí tuệ nhân tạo này. Trong khi chính Open AI, doanh nghiệp sáng lập ra ChatGPT đã cảnh báo câu trả lời mà AI đưa ra hoàn toàn có khả năng sai sự thật.

Về phía Stack Overflow, nguồn thông tin được sử dụng, bà Samia Kabir cho rằng cộng đồng này nhiều lúc đưa ra những bình luận tiêu cực, các câu trả lời chung chung, thiếu sự liên kết, lịch thiệp giống với ChatGPT. Dù chất lượng câu trả lời cao hơn, sát thực tiễn hơn, nhưng sự thiếu lịch thiệp đã khiến người dùng ưa chuộng ChatGPT hơn hỏi lập trình viên thật.

Trong chính khảo sát của Stack Overflow với 90.000 lập trình viên cũng cho thấy 77% số được hỏi ưa chuộng ChatGPT hơn hỏi lập trình viên thật. Tuy nhiên trong số này, chí có 42% tin tưởng hoàn toàn câu trả lời mà AI đưa ra.

Trí tuệ nhân tạo dù có phát triển tới mức nào cũng thiếu đi tính liên kết thực tế mà các nhân sự thật có được trong khoảng thời gian làm việc. Với thống kê mới đây, các nhà nghiên cứu một lần nữa đánh hồi chuông cảnh tỉnh những người quá phụ thuộc, quá tin tưởng vào AI để rồi có được kết quả không chính xác.