CGD - Crypto Government Department logo CGD - Crypto Government Department logo
Forklog 2024-06-18 07:38:43

Google разработает ИИ-модель для генерации звука к видео

Компания Google DeepMind разрабатывает технологию на базе искусственного интеллекта для создания саундтреков к видео. Исследовательское подразделение Google в области ИИ и другие организации уже создавали модели для видео, но они не способны генерировать под них звуковые эффекты. Для этих целей DeepMind использует технологию V2A (video-to-audio). «Модели для генерации видео развиваются невероятными темпами, но многие современные системы не создают звуковую дорожку. Одним из следующих важных шагов на пути к генерации фильмов является появление саундтреков к этим немым видеороликам», — говорится в сообщении DeepMind. Технология V2A от DeepMind использует промпты в сочетании с видео для создания музыки, звуковых эффектов и диалогов. Например: «Пульсирующая под водой медуза, морская жизнь, океан». Лежащая в основе V2A диффузионная ИИ-модель обучена на базе звуков, расшифровок диалогов и видеоклипов. https://www.youtube.com/watch?v=b6Elcke3JMc&t=9s Для создания звука к видео использовались следующие подсказки: кинематограф, триллер, фильм ужасов, музыка, напряжение, атмосфера, шаги по бетону. DeepMind отмечает, что технология пока не идеальна, а звук нельзя назвать высококачественным и убедительным. Перед полноценным запуском V2A требуются доработки и тестирования.  Напомним, в феврале OpenAI представила новую генеративную ИИ-модель Sora, которая позволяет преобразовывать текст в видео.  В июне ученые из Гарварда и DeepMind создали виртуальную крысу с искусственным интеллектом в качестве мозга.Ранее дочерняя компания Google представила генеративную ИИ-модель Genie для создания игр.

Διαβάστε την Αποποίηση Ευθυνών : Όλο το περιεχόμενο που παρέχεται εδώ στον ιστότοπό μας, τους υπερσυνδεδεμένους ιστότοπους, τις σχετικές εφαρμογές, τα φόρουμ, τα ιστολόγια, τους λογαριασμούς κοινωνικών μέσων και άλλες πλατφόρμες (“Site”) προορίζεται μόνο για τις γενικές πληροφορίες σας, που προέρχονται από τρίτες πηγές. Δεν κάνουμε καμία εγγύηση οποιουδήποτε είδους σε σχέση με το περιεχόμενό μας, συμπεριλαμβανομένης ενδεικτικά της ακρίβειας και της ενημέρωσης. Κανένα μέρος του περιεχομένου που παρέχουμε δεν αποτελεί οικονομική συμβουλή, νομική συμβουλή ή οποιαδήποτε άλλη μορφή συμβουλών που προορίζεται για τη συγκεκριμένη εμπιστοσύνη σας για οποιονδήποτε σκοπό. Οποιαδήποτε χρήση ή εξάρτηση από το περιεχόμενό μας είναι αποκλειστικά με δική σας ευθύνη και διακριτική ευχέρεια. Πρέπει να πραγματοποιήσετε τη δική σας έρευνα, να ελέγξετε, να αναλύσετε και να επαληθεύσετε το περιεχόμενό μας προτού βασιστείτε σε αυτά. Η διαπραγμάτευση είναι μια εξαιρετικά επικίνδυνη δραστηριότητα που μπορεί να οδηγήσει σε μεγάλες απώλειες, επομένως συμβουλευτείτε τον οικονομικό σας σύμβουλο πριν λάβετε οποιαδήποτε απόφαση. Κανένα περιεχόμενο στον ιστότοπό μας δεν προορίζεται να είναι παράκληση ή προσφορά