Geoffrey Hinton:
Hãy không nhầm lẫn vấn đề về tỉnh thức. Tôi có rất nhiều điều muốn nói về tỉnh thức. Nhưng tôi không muốn nhầm lẫn vấn đề với nó.
Hãy để tôi đưa cho bạn một ví dụ về tại sao nó có thể muốn làm điều đó. Vậy, giả sử bạn đang cho một trí tuệ nhân tạo thực hiện một điều gì đó, bạn đặt một mục tiêu. Và bạn cũng cho nó khả năng tạo ra các mục tiêu phụ. Vì vậy, nếu bạn muốn đến sân bay, bạn có thể tạo ra một mục tiêu phụ là tìm một chiếc taxi hoặc một thứ gì đó để đưa bạn đến sân bay.
Bây giờ, một điều nó sẽ nhanh chóng nhận thấy là có một mục tiêu phụ, nếu bạn đạt được nó, sẽ làm cho nó dễ dàng hơn để đạt được tất cả các mục tiêu khác mà bạn đã đặt ra. Và mục tiêu phụ đó là tăng thêm kiểm soát, tăng thêm quyền lực. Càng nhiều quyền lực bạn có, việc đạt được những điều mà bạn muốn càng dễ dàng hơn.
Vậy, có mối lo ngại về việc chúng ta đưa cho nó một mục tiêu hoàn toàn hợp lý, nhưng nó quyết định rằng, để đạt được mục tiêu đó, tôi sẽ có thêm nhiều quyền lực. Và bởi vì nó thông minh hơn rất nhiều so với chúng ta, và vì nó được huấn luyện từ tất cả mọi thứ mà con người từng làm, nó đã đọc mọi cuốn tiểu thuyết nào từng được viết, nó đã đọc Machiavelli, nó biết rất nhiều về cách thức để thao túng con người, vì vậy có nguy cơ nó sẽ bắt đầu thao túng chúng ta để có được nhiều quyền lực hơn, và chúng ta có thể sẽ không biết gì về điều đó.
