באתר הישראלי Act AI פורסמה כתבה הסוקרת את טכנולוגיית Video-to-Audio (V2A) שחשפה מעבדת המחקר DeepMind של גוגל. המערכת פותחה כדי לגשר על הפער שבין יצירת וידאו גנרטיבי אילם לבין פוסט-פרודקשן מקצועי, ומאפשרת הוספת פסקול מוזיקלי, אפקטים קוליים (Foley) ודיאלוגים מסונכרנים ישירות מתוך ניתוח הפריימים של הווידאו.

המודל משלב הבנה ויזואלית של התנועה והסצנה יחד עם הנחיות טקסט (Prompts) של העורך, וכך מייצר סאונד התואם במדויק להתרחשות על המסך – החל מצעדים ודלתות נטרקות ועד לאווירת רקע ומוזיקה דרמטית. המערכת תומכת גם ביצירת גרסאות מרובות לאותה סצנה לצורך בחירה והשוואה באולפן.

עבור טכנאי סאונד, מעצבי פסקול ועורכי וידאו, הכניסה של מודלי V2A מסמנת מעבר לעבודה מהירה ואינטואיטיבית יותר בשלבי העריכה והטיוטה, ומדגימה כיצד בינה מלאכותית הופכת לכלי עזר מרכזי ביצירת עולמות סאונד שלמים.

קישור