Chụp cắt ảnh chất lượng thô của não trong hoạt động bằngCông nghệ hình ảnh từ trường không gian (fMRI) đã được kết hợp với khả năng dự đoán của các mô hình ngôn ngữ trí tuệ nhân tạo. Công nghệ lai này đã dẫn đến việc tạo ra công cụ giải mã có thể tái tạo lại câu chuyện một người đã nghe hoặc tưởng tượng trong khi nằm trong máy quét. Mặc dù công nghệ này vẫn đang ở giai đoạn tiên tiến thì có thể rất hữu ích đối với những người không thể nói hoặc giao tiếp bên ngoài, chẳng hạn như những người đã mắc phải chứng đột quỵ hoặc sống với bệnh động kinh cơ bản.
Vì công nghệ giải mã này đang trong giai đoạn ban đầu, nó không thể tạo ra một bản trascript chính xác của những từ ngữ mà họ nghe hoặc tưởng tượng được. Tuy nhiên, nó vẫn là một bước tiến đáng kể; các nhà nghiên cứu giờ đây biết rằng hệ thống ngôn ngữ trí tuệ nhân tạo có thể giúp đoán đoán được từ nào gây ra hoạt động não chỉ bằng cách xem qua những hình ảnh quét não fMRI.
Các nhà khoa học đã phối hợp với ba người tham gia nghiên cứu trong máy quét. Họ đã nghe các đoạn trích từ các chương trình podcast và đài phát thanh, còn máy quét sẽ theo dõi sự lưu thông máu ở các khu vực liên quan đến ngôn ngữ khác nhau của não. Dữ liệu này được sử dụng để huấn luyện một mô hình trí tuệ nhân tạo tìm thấy các mẫu về cách não của mỗi người kích hoạt đối với các từ và khái niệm cụ thể.
Sau khi phát hiện các mẫu này, mô hình tiếp tục lần lượt thông qua các hình ảnh não mới và dự đoán đang nghe thứ gì vào thời điểm hình ảnh được chụp. Nó hoạt động dần dần suốt từng câu chuyện, so sánh các hình quét mới với các mẫu dự đoán của AI cho một loạt các từ ứng viên từ đó chọn từ ứng viên phù hợp nhất. Mô hình phát hiện một bộ phim ngắn không có tiếng nói và dịch thành câu chuyện dựa trên ảnh não của người xem, mặc dù độ chính xác thấp hơn.
