Trong bài viết của Brown xuất bản trên Tạp chí Tin học Phân tử, giải mã cấu trúc việc sử dụng AI và phân tích bản chất của các thống kê được sử dụng để báo cáo về khả năng của chương trình AI. Kỹ thuật mới này cũng tạo ra một xác suất về mức độ thực hiện đưa ra dữ liệu đánh giá nhằm trả lời câu hỏi như: Xác suất đạt được độ chính xác trên 90% là gì?
Báo cáo về các ứng dụng AI mới gần như hàng ngày xuất hiện trong các bản tin, bao gồm trong lĩnh vực xã hội, khoa học, tài chính, dược phẩm, y học và an ninh.
Brown giải thích: “Trong khi các báo cáo thống kê có vẻ ấn tượng, các nhóm nghiên cứu và những người đánh giá kết quả đều gặp phải hai vấn đề: Thứ nhất, để hiểu được liệu AI có đạt kết quả một cách tình cờ, thứ hai, để giải thích khả năng áp dụng từ các thống kê được báo cáo.”
Ví dụ, nếu một chương trình AI được xây dựng để dự đoán có ai đó sẽ giành chiến thắng trong đợt mở thưởng xổ số, thì nó có thể luôn luôn dự đoán được người không trúng. Chương trình có thể đạt được độ chính xác ‘99% ‘ và kết luận rằng chương trình là chính xác đã ổn chưa?
Nhưng vấn đề ở đây là: Trong phát triển AI, việc đánh giá chỉ có thể tin tưởng được nếu có một số lượng các kết quả tích cực và tiêu cực tương đương. Nếu dữ liệu có xu hướng về một trong hai giá trị, hệ thống đánh giá hiện tại sẽ phóng đại khả năng của nó. Vì vậy, để giải quyết vấn đề này, Brown đã phát triển một kỹ thuật mới để đánh giá hiệu năng chỉ dựa trên các dữ liệu đầu vào.
“Tính mới của kỹ thuật này là nó không phụ thuộc vào bất kỳ một loại công nghệ AI nào, chẳng hạn như deep learning”, Brown mô tả. “Nó có thể giúp phát triển số liệu đánh giá mới bằng cách bình đẳng xem xét số liệu được tạo ra với dữ liệu dự đoán trước và sau đó chúng ta có thể biết liệu các kết quả có bị chệch.”
Brown hy vọng rằng phân tích này sẽ không chỉ nâng cao nhận thức về cách chúng ta nghĩ về AI trong tương lai mà còn góp phần phát triển các nền tảng AI mạnh mẽ hơn.
Ngoài số liệu chính xác, Brown đã kiểm tra 6 số liệu khác trong cả hai lý thuyết và các tình huống áp dụng, cho thấy không có chỉ số nào vượt trội hơn cả. Ông nói rằng chìa khóa để xây dựng nền tảng AI hữu ích là phải có một đánh giá đa chiều.
“AI có thể giúp chúng ta hiểu được nhiều hiện tượng trên thế giới, nhưng để nó cung cấp cho chúng ta đúng hướng, chúng ta phải biết làm thế nào đặt ra những câu hỏi đúng. Chúng ta phải cẩn thận đừng quá tập trung vào một con số duy nhất như là một thước đo độ tin cậy của AI.”
Chương trình của Brown được cung cấp miễn phí cho công chúng, các nhà nghiên cứu, và các nhà phát triển.
Chi tiết xem tại đây: https://doi.org/10.1002/minf.201700127
Anh Tuấn (lược dịch)
Nguồn: https://www.sciencedaily.com/releases/2018/03/180314102002.htm