Bằng cách nghiên cứu hoạt động não của một người, trí tuệ nhân tạo (AI) có thể tạo ra một bài hát phù hợp với thể loại, nhịp điệu, tâm trạng và nhạc cụ của âm nhạc người đó gần đây đã nghe.
Các nhà khoa học trước đây đã "tái tạo" các âm thanh khác từ hoạt động não, chẳng hạn như nói chuyện của con người, tiếng chim hót và tiếng xào xạc của ngựa. Tuy nhiên, chỉ có một số nghiên cứu đã cố gắng tái tạo âm nhạc từ tín hiệu não.
Bây giờ, các nhà nghiên cứu đã xây dựng một khối xử lý dựa trên AI, gọi là Brain2Music, sử dụng dữ liệu hình ảnh não để tạo ra nhạc giống như đoạn nhỏ của bài hát mà một người đã nghe khi não của họ được quét. Họ mô tả khối xử lý này trong một bài báo, được xuất bản vào ngày 20 tháng 7 trên cơ sở dữ liệu tiền in arXiv, chưa được đồng ý xem xét.
Các nhà khoa học đã sử dụng các quét não đã được thu thập trước đó thông qua một kỹ thuật gọi là hình ảnh từng phút từ nhiều chất oxy giàu chảy vào não để xem xem khu vực nào hoạt động nhiều nhất. Các quét đã được thu thập từ năm người tham gia khi họ nghe các đoạn nhạc dài 15 giây với nhiều thể loại nhạc, bao gồm blues, cổ điển, country, disco, hip-hop, jazz và pop.
Sử dụng một phần của dữ liệu hình ảnh não và các đoạn nhạc, các nhà nghiên cứu đã huấn luyện trước một chương trình AI để tìm liên kết giữa các đặc điểm của âm nhạc, bao gồm nhạc cụ được sử dụng và thể loại, nhịp điệu và tâm trạng của nó, và tín hiệu não của người tham gia. Tâm trạng của âm nhạc do các nhà nghiên cứu xác định bằng cách sử dụng các nhãn như vui vẻ, buồn, nhạy cảm, hồi hộp, tức giận hoặc sợ hãi.
AI đã được tùy chỉnh cho mỗi người, xây dựng liên kết giữa những mẫu hoạt động não riêng biệt của họ và các yếu tố âm nhạc khác nhau.
Sau khi được huấn luyện trên một tập dữ liệu đã chọn, AI có thể chuyển đổi dữ liệu hình ảnh não còn lại, trước đây chưa được xem xét thành một dạng biểu thị các yếu tố âm nhạc của các đoạn nhạc gốc. Các nhà nghiên cứu sau đó đưa thông tin này vào một mô hình AI khác đã được phát triển trước đó bởi Google, gọi là MusicLM. Ban đầu, MusicLM được phát triển để tạo ra âm nhạc từ mô tả văn bản, chẳng hạn như "một giai điệu violin dịu dàng được hỗ trợ bởi một giai điệu đàn guitar méo mó".
MusicLM đã sử dụng thông tin này để tạo ra đoạn nhạc có thể nghe trực tuyến và khá chính xác tương tự các đoạn nhạc gốc - mặc dù AI đã thu thập được một số đặc điểm của các giai điệu gốc tốt hơn so với những đặc điểm khác.
"Thống nhất về tâm trạng của âm nhạc tái tạo và âm nhạc gốc là khoảng 60%", ông Timo Denk, cộng tác viên nghiên cứu Timo Denk, kỹ sư phần mềm tại Google ở Thụy Sĩ, nói với Live Science. Các thể loại nhạc và nhạc cụ trong âm nhạc tái tạo và âm nhạc gốc khớp với nhau nhiều hơn so với kỳ vọng từ ngẫu nhiên. Trong tất cả các thể loại nhạc, AI có thể phân biệt nhạc cổ điển một cách chính xác nhất."Phương pháp khá mạnh mẽ trên cả năm đối tượng mà chúng tôi đã đánh giá," Denk nói. "Nếu bạn lấy một người mới và huấn luyện một mô hình cho họ, có khả năng rằng nó cũng sẽ hoạt động tốt."
Cuối cùng, mục tiêu của công việc này là để làm sáng tỏ cách não xử lý âm nhạc, ông Yu Takagi, cộng tác viên nghiên cứu Yu Takagi, giáo sư trợ giảng về sinh thái học tính toán và trí tuệ nhân tạo tại Đại học Osaka ở Nhật Bản, nói.
Như dự định, nhóm nghiên cứu đã phát hiện rằng việc nghe nhạc kích hoạt các khu vực não trong vỏ thính giác chính, nơi tín hiệu từ tai được giải thích như những âm thanh. Vùng não khác, được gọi là vỏ trước thị giác bên cạnh, có vẻ quan trọng trong việc xử lý ý nghĩa của các bài hát, nhưng điều này cần được xác nhận qua các nghiên cứu tiếp theo, Takagi nói. Vùng não này cũng được biết đến là liên quan đến lập kế hoạch và giải quyết vấn đề.
Thú vị là, một nghiên cứu trước đây đã phát hiện ra rằng hoạt động của các phần khác nhau của vỏ trước thị giác thay đổi rất nhiều khi các rapper tự do biểu diễn sáng tạo.
Các nghiên cứu trong tương lai có thể khám phá cách mà não xử lý nhạc các thể loại hoặc tâm trạng khác nhau, Takagi thêm vào đó. Nhóm cũng hy vọng khám phá xem trí tuệ nhân tạo có thể tái tạo nhạc mà con người chỉ tưởng tượng trong đầu, chứ không phải thực sự nghe nhạc.
Cập nhật tin tức khoa học mới nhất bằng cách đăng ký nhận bản tin của chúng tôi.
