Biến đổi tương lai của sáng tạo âm nhạc

Google DeepMind has announced their most advanced AI music model named Lyria, along with two new AI experiments aimed at creating a new playground for creativity:

• Dream Track – an experiment on YouTube Shorts designed to create a deeper connection between artists, creators, and fans through music creation.
• AI music tool – a toolset we are designing with artists, musicians, and producers to enhance their creative process. We have deployed the Lyria model in an experiment called Dream Track, designed to test new ways for artists to connect with their fans and developed in collaboration with YouTube. In this experiment, a limited number of creators will be able to use Dream Track to create a unique backing track with AI-generated vocals and the musical styles of artists such as Alec Benjamin, Charlie Puth, Charli XCX, Demi Lovato, John Legend, Sia, T-Pain, Troye Sivan, and Papoose. Our team is also pioneering in deploying our technology responsibility with top-of-the-class tools for marking and identifying automatically generated content. Any content published by our Lyria model will be marked with SynthID, along with the technology toolkit we’re using to identify images generated by Imagen on Google Cloud’s Vertex AI. We are excited about building new technology that can elevate the work of professional artists and the artist community and contribute positively to the future of music.

Chúng tôi xin thông báo về mô hình tạo nhạc tiên tiến nhất của chúng tôi, cùng hai thí nghiệm AI mới được thiết kế nhằm mở ra một sân chơi mới cho sự sáng tạo.

Từ jazz đến heavy metal, techno đến opera, âm nhạc là một hình thức biểu đạt sáng tạo được yêu thích. Với lời ca phức tạp, giai điệu, nhịp điệu, và giọng hát, việc tạo ra âm nhạc hấp dẫn đã đặc biệt khó khăn cho các hệ thống trí tuệ nhân tạo (AI) – cho đến bây giờ.

Hôm nay, hợp tác với YouTube, chúng tôi công bố Google DeepMind’s Lyria, mô hình tạo nhạc AI tiên tiến nhất của chúng tôi đến nay, cùng hai thí nghiệm AI được thiết kế để mở ra một sân chơi mới cho sự sáng tạo:

• Dream Track – một thí nghiệm trên YouTube Shorts được thiết kế để giúp tăng cường mối liên kết giữa các nghệ sĩ, người sáng tạo, và người hâm mộ thông qua việc tạo ra âm nhạc.
• Công cụ âm nhạc AI – một bộ công cụ mà chúng tôi đang thiết kế với các nghệ sĩ, nhạc sĩ, và nhà sản xuất để giúp nâng cao quy trình sáng tạo của họ. Để phát triển những dự án này, chúng tôi đã hợp tác với các chuyên gia kỹ thuật từ khắp nơi trên Google cùng với một dải rộng các nghệ sĩ và nhạc sĩ nổi tiếng trên thế giới để khám phá cách công nghệ âm nhạc tự động có thể hình thành tương lai của việc sáng tạo âm nhạc một cách trách nhiệm. Chúng tôi rất háo hức về việc xây dựng các công nghệ mới có thể nâng cao công việc của các nghệ sĩ chuyên nghiệp và cộng đồng nghệ sĩ, và đóng góp tích cực cho tương lai của âm nhạc.

Giới thiệu mô hình Lyria

Âm nhạc chứa đựng lượng thông tin lớn – xem xét mỗi nhịp, nốt, và hòa âm giọng hát trong mỗi giây. Khi tạo ra chuỗi âm thanh dài, việc giữ cho AI mô hình duy trì sự liên tục âm nhạc qua các cụm từ, đoạn hát, hoặc đoạn nhạc kéo dài là khó khăn. Vì âm nhạc thường bao gồm nhiều giọng và nhạc cụ cùng một lúc, nên việc tạo ra nó khó khăn hơn so với việc tạo ra lời nói.

Được xây dựng bởi Google DeepMind, mô hình Lyria xuất sắc trong việc tạo ra âm nhạc chất lượng cao với nhạc cụ và giọng hát, thực hiện các nhiệm vụ biến đổi và tiếp tục, và cho phép người dùng kiểm soát phong cách và biểu diễn của đầu ra một cách tinh tế hơn.

Khơi gợi âm nhạc mới trên YouTube Shorts

Chúng tôi đang thử nghiệm Lyria trong một thí nghiệm gọi là Dream Track, được thiết kế để thử nghiệm các cách mới để nghệ sĩ kết nối với người hâm mộ và được phát triển phối hợp với YouTube.

Trong thí nghiệm này, một số lượng hạn chế người sáng tạo sẽ có thể sử dụng Dream Track để sản xuất một bản nhạc nền độc đáo với giọng nói và phong cách âm nhạc được tạo ra bởi AI của các nghệ sĩ bao gồm Alec Benjamin, Charlie Puth, Charli XCX, Demi Lovato, John Legend, Sia, T-Pain, Troye Sivan, và Papoose. Mỗi nghệ sĩ tham gia đã hợp tác với chúng tôi và sẽ giúp chúng tôi thử nghiệm và học hỏi để hình thành tương lai của AI trong âm nhạc.

Người dùng Dream Track chỉ cần nhập một chủ đề và chọn một nghệ sĩ từ carousel để tạo ra một đoạn nhạc nền 30 giây cho Short của họ. Sử dụng mô hình Lyria của chúng tôi, Dream Track đồng thời tạo ra lời ca, bản nhạc nền, và giọng nói được tạo ra bởi AI theo phong cách của nghệ sĩ tham gia được chọn.

Khám phá công cụ âm nhạc AI với ngành công nghiệp

Các nhà nghiên cứu của chúng tôi đã khám phá với các nghệ sĩ, nhạc sĩ, và nhà sản xuất trong YouTube’s Music AI Incubator cách AI tự động có thể hỗ trợ tốt nhất quá trình sáng tạo, và cùng nhau thiết kế một bộ công cụ âm nhạc AI một cách trách nhiệm.

Tưởng tượng bạn đang hát một giai điệu để tạo ra một đường hòn, biến đổi hợp âm từ một bàn phím MIDI thành một dàn hợp xướng thực tế, hoặc thêm một phần đệm nhạc cụ vào một đường đệm giọng hát.
Với công cụ âm nhạc AI của chúng tôi, người dùng có thể tạo ra âm nhạc mới hoặc các phần nhạc cụ từ đầu, biến đổi âm thanh từ một phong cách âm nhạc hoặc nhạc cụ sang một cái khác, và tạo ra các phần đệm nhạc cụ và giọng hát. Công việc này dựa trên lịch sử nghiên cứu và thử nghiệm của chúng tôi với AI và âm nhạc, và chúng tôi sẽ tiếp tục thử nghiệm công cụ âm nhạc AI của chúng tôi với các thành viên của ấp ủ trong suốt quá trình phát triển của họ.

Đánh dấu bản quyền âm thanh do AI tạo ra với SynthID

Đội ngũ của chúng tôi cũng đang tiên phong trong việc triển khai trách nhiệm các công nghệ của chúng tôi với công cụ hàng đầu trong lớp đánh dấu bản quyền và nhận dạng nội dung được tạo ra tổng hợp. Bất kỳ nội dung nào được xuất bản bởi mô hình Lyria của chúng tôi sẽ được đánh dấu bản quyền với SynthID, bộ công cụ công nghệ mà chúng tôi đang sử dụng để nhận dạng hình ảnh được tạo ra bởi Imagen trên Google Cloud’s Vertex AI.

SynthID nhúng một dấu mực vào nội dung âm thanh được tạo ra bởi AI mà không nghe thấy được bằng tai người và không làm giảm trải nghiệm nghe. Nó làm điều này bằng cách chuyển đổi sóng âm thanh thành một hình ảnh hai chiều cho thấy cách quang phổ của các tần số trong một âm thanh tiến triển theo thời gian. Phương pháp mới lạ này không giống bất cứ thứ gì hiện có ngày nay, đặc biệt trong ngữ cảnh của âm thanh.
Dấu mực được thiết kế để duy trì khả năng phát hiện ngay cả khi nội dung âm thanh trải qua nhiều sửa đổi phổ biến như thêm tiếng ồn, nén MP3, hoặc tăng tốc và giảm tốc độ bài hát. SynthID cũng có thể phát hiện sự hiện diện của một dấu mực trong suốt một bài hát để giúp xác định xem các phần của một bài hát có được tạo ra bởi Lyria hay không.

Phát triển và triển khai công nghệ của chúng tôi một cách trách nhiệm

Để tối đa hóa lợi ích của công nghệ âm nhạc tự động của chúng tôi, trong khi giảm thiểu rủi ro tiềm năng, điều quan trọng là những công nghệ này được phát triển với sự bảo vệ hàng đầu trong lớp. Chúng tôi đã làm việc chặt chẽ với các nghệ sĩ và ngành công nghiệp âm nhạc để đảm bảo rằng công nghệ này có lợi ích rộng rãi.

Thí nghiệm âm nhạc AI của chúng tôi đã được thiết kế theo nguyên tắc AI của YouTube, nhằm mục đích kích thích sự biểu đạt sáng tạo trong khi bảo vệ các nghệ sĩ âm nhạc và sự toàn vẹn công việc của họ.

Trong tương lai, chúng tôi sẽ tiếp tục tham gia nghệ sĩ, ngành công nghiệp âm nhạc, và cộng đồng sáng tạo rộng lớn để đặt tiêu chuẩn cho việc phát triển và triển khai công cụ tạo nhạc một cách trách nhiệm.

Tương lai của công cụ âm nhạc tự động

Công nghệ âm nhạc tự động có thể biến đổi tương lai của việc tạo và sử dụng âm nhạc. Công việc tiên phong của chúng tôi trong lĩnh vực này sẽ mở ra một làn sóng mới thú vị của công cụ nghệ sĩ có thể truyền cảm hứng cho sự sáng tạo cho các nghệ sĩ, nhạc sĩ, nhà sản xuất, và người hâm mộ ở khắp mọi nơi.

Chúng tôi chỉ mới bắt đầu khám phá cách AI có thể nâng cao sự sáng tạo âm nhạc của mọi người và chúng tôi không thể chờ đợi để xem chúng tôi có thể đạt được gì tiếp theo trong việc hợp tác với nghệ sĩ, ngành công nghiệp âm nhạc, và cộng đồng sáng tạo rộng lớn.