The Future of Sound Production: Exploring the Latest Innovations in Audio Technology
תפריט
שלום אורח ::: Mon, 15 Jul 2024, 16:43
logo המגזין הישראלי לטכנולוגיות באודיו ומוסיקה Musical Act Magazine AI

יצירת אודיו לסרטונים באמצעות DeepMind: מהפכה בעולם הווידאו!

Wednesday, 19-06-24, 10:35, מקור: Reuven Mansharoff ::: ::: נושא: AI בינה מלאכותית @ 713

מערכת AI מהפכנית המסוגלת להוסיף פסקול, אפקטים קוליים ודיאלוגים לסרטונים שקטים

יצירת אודיו לסרטונים באמצעות DeepMind: מהפכה בעולם הווידאו!

חברת DeepMind, מעבדת המחקר של גוגל לבינה מלאכותית, חשפה טכנולוגיה חדשנית בשם Video-to-Audio (V2A) המאפשרת יצירת פסקולים עשירים ומסונכרנים לסרטונים. הטכנולוגיה משלבת בין פיקסלים של וידאו להנחיות טקסטואליות כדי ליצור נופי צליל המתאימים לפעולה המתרחשת על המסך.
V2A יכולה להוסיף מוזיקה דרמטית, אפקטים קוליים ריאליסטיים ואפילו דיאלוגים התואמים את הטון והדמויות של הסרטון. היא גם מסוגלת ליצור פסקולים לחומרים קיימים כמו סרטים אילמים וחומרי ארכיון, מה שפותח אפשרויות יצירתיות חדשות.

שליטה יצירתית מוגברת

חלק מרכזי ביכולות של V2A הוא האפשרות ליצור מספר בלתי מוגבל של פסקולים לכל קלט וידאו. המשתמשים יכולים להגדיר "הנחיה חיובית" כדי לכוון את האודיו לצלילים רצויים, או "הנחיה שלילית" כדי להימנע מצלילים לא רצויים. גמישות זו מאפשרת שליטה יצירתית מוגברת ואפשרות לנסות אפשרויות שונות.


הטכנולוגיה החדשנית של DeepMind, הנקראת Video-to-Audio (V2A), עשויה להוביל למהפכה בתעשיית הסרטים והטלוויזיה. להלן כמה דרכים שבהן היא יכולה לשנות את התעשייה:
  • יצירת פסקולים מותאמים אישית - הטכנולוגיה מאפשרת יצירת פסקולים מותאמים אישית לסרטונים, כולל מוזיקה, אפקטים קוליים ודיאלוגים, באמצעות הנחיות טקסטואליות והפיקסלים של הווידאו . זה יכול לחסוך זמן ועלויות ביחס לתהליך המסורתי של הקלטת פסקולים.
  • הגברת היצירתיות - היכולת ליצור פסקולים מגוונים ומותאמים אישית עבור כל סצנה מאפשרת ליוצרים להיות יצירתיים יותר בעיצוב החוויה הקולית של הסרטים והתוכניות שלהם .
  • סנכרון אוטומטי - המערכת מסנכרנת את האודיו עם הווידאו באופן אוטומטי, מה שמפשט את תהליך העריכה ומונע טעויות של חוסר סנכרון .
  • הרחבת היצע התוכן - הטכנולוגיה יכולה לסייע ביצירת תוכן חדש ומגוון, כמו סרטוני אנימציה או סרטונים קצרים, באמצעות יצירת פסקולים מותאמים אישית. היכולת לייצר פסקול לסרטים אילמים מראשית עידן הקולנוע זו חוויה מרגשת בהחלט, כמו גם הוספת צליל נגינה לדמות מנגנת על כלי כלשהו.

איך זה עובד

המערכת מתחילה בקידוד קלט הווידאו לייצוג דחוס. לאחר מכן, מודל הדיפוזיה מחלץ ומשפר את האודיו מתוך רעש אקראי, בהנחיית הקלט הוויזואלי וההנחיות הטקסטואליות. התוצאה היא אודיו מסונכרן וריאליסטי המותאם לסצנה.
 
כדי לשפר את איכות האודיו, DeepMind הוסיפה לתהליך הלמידה תיאורים מפורטים של צלילים ותעתיקי דיאלוגים שנוצרו על ידי AI. כך המערכת למדה לשייך אירועי אודיו ספציפיים לסצנות ויזואליות שונות, ולהגיב למידע שסופק בתיאורים ובתעתיקים (רק זה לבדו מטורף!).


 


יתרונות ואתגרים

לטכנולוגיית V2A יש מספר יתרונות ייחודיים. היא מסוגלת להבין פיקסלים גולמיים ללא צורך בהנחיות טקסטואליות, וגם אינה דורשת יישור ידני של האודיו עם הווידאו. עם זאת, יש גם מגבלות - איכות האודיו תלויה באיכות הווידאו, וקיימים אתגרים בסנכרון שפתיים לדיאלוגים.
DeepMind ממשיכה לשפר את הטכנולוגיה ולבצע הערכות בטיחות, ומתכוונת להטביע סימני מים בתוכן שנוצר על ידי V2A כדי למנוע שימוש לרעה. התוצאות הראשונות מראות שזוהי גישה מבטיחה להחיות סרטונים שקטים. במהירות שבה בינה מלאכותית מתקדמת מעכשיו, הכלי הזה יהיה מעל כל דימיון בעוד שנה.

מדריך קצר למשתמש

  1. העלאת וידאו: העלה את הווידאו שברצונך להוסיף לו פסקול.
  2. הוספת הנחיות טקסטואליות: הוסף הנחיות טקסטואליות המתארות את סוג האודיו שברצונך ליצור (אופציונלי).
  3. יצירת אודיו: המערכת תשתמש בפיקסלים של הווידאו ובהנחיות הטקסטואליות כדי ליצור אודיו מסונכרן.
  4. בחירת פסקול: בחר את הפסקול המתאים ביותר מתוך מספר אפשרויות שנוצרו.
[הכלי יפתח לציבור ממש בקרוב]
מוצרי אלקטרוניקה ומחשבים במחירים הזולים ביותר, אספקה מהירה - כמו לרכוש בארץ
  • מוסיקה אלקטרונית
    kimchi SWAMP
    SallyT: inundated by the BAYOU לשרשור המלא אחרון
  • אקוסטיקה, סביבת עבודה
    RE: עזרה בבקשה \ רעש מהקירות
    avruch: שלום טל, קראתי את כל השרשור הזה כמה פעמים, ויש לנו מקרה דומה מאד,... לשרשור המלא אחרון
  • SoundBoard - סאונד מקצועי
    RE: את מי עדיף להרים level של הערוץ או המאסטר הראשי
    ReuvenM: נכתב על זה כאן לא אחת.. שים את המסטר על 0 שים כל ערוץ על 0 וכוון את... לשרשור המלא אחרון
  • SoundBoard - סאונד מקצועי
    RE: שימוש במולטי כבל לpa הראשי
    nimrod: מי אמר שהסיכוך חייב להיות גם מנחושת?..(אולי זה אכן נחושת מסוגסגת או... לשרשור המלא אחרון