המרת אודיו ל-MIDI היא אחת המשימות המורכבות בעולם ההפקה המוזיקלית. בעוד שכלים ותיקים הצליחו להתמודד בעיקר עם כלי בודד, פסנתר או שירה מבודדת, עבודה על מיקס מלא - הכולל תופים, בס, קלידים, שירה וכלים נוספים - היוותה עד לאחרונה אתגר משמעותי. Mirelo AI, בשיתוף קבוצת המחקר Kyutai, מציגה מודל חדש בשם Audio-to-MIDI, שמטרתו לבצע תמלול מוזיקלי רב-ערוצי ולהפיק קובצי MIDI נפרדים לכל כלי נגינה מתוך הקלטה אחת.
מהו Mirelo Audio-to-MIDI?
זהו מודל מבוסס בינה מלאכותית המנתח קובץ אודיו בפורמט WAV או MP3, מזהה אילו כלים מנגנים בו וממיר את הביצוע לרצפי MIDI נפרדים. בנוסף לנתוני התווים, המערכת יכולה לזהות גם אקורדים, סולם מוזיקלי (Key) וקצב (Tempo), ובכך מספקת תמונה מוזיקלית רחבה יותר לעבודה באולפן.
התוצאה מוצגת כ-Piano Roll, כאשר כל כלי מופיע בערוץ נפרד וניתן לבצע עליו תיקונים לפני הייצוא לקובצי MIDI או MusicXML.
למי הכלי מתאים?
- מפיקים מוזיקליים המעוניינים לנתח שירים קיימים.
- מלחינים ויוצרי פסקולים הזקוקים לשלד הרמוני מהיר.
- נגנים שרוצים ללמוד ביצוע של כלי מסוים מתוך הקלטה.
- אנשי אולפן המעוניינים לשחזר הקלטות או לבצע עריכות (כמו מלחינים שעבדו על תוכנה ישנה ויש להם רק תוצאת אודיו ורוצים לחזור להפקה עם ערוצי מידי).
- מפתחי תוכנות מוזיקה ויישומי AI בתחום האודיו.
היכולות המרכזיות
- זיהוי אוטומטי של כלי נגינה - המערכת מסווגת את הכלים ומעניקה לכל אחד ערוץ משלו.
- הפקת ערוצי MIDI נפרדים - כל כלי ניתן לייצוא בנפרד.
- זיהוי אקורדים, סולם וטמפו - מידע שימושי להפקה, עיבוד ולימוד.
- ייצוא ל-MIDI ול-MusicXML - מתאים לעבודה עם רוב תוכנות ההפקה.
- עריכה לפני הייצוא - ניתן לבדוק ולתקן תווים על גבי Piano Roll.
מה מייחד את הכלי?
רוב פתרונות Audio-to-MIDI הקיימים מתמקדים במקור צליל יחיד ולרוב גם בתו אחד (מונופוני), למשל פסנתר סולו או גיטרה. לפי Mirelo, המודל החדש תוכנן להתמודד עם מיקס מלא, כלומר מספר כלים המנגנים בו-זמנית, גם כאשר קיימים אפקטים, ריוורב או שכבות מורכבות. זהו אחד ההבדלים הבולטים בינו לבין פתרונות מסורתיים וזה מטורף ברמה בדיונית. החברה אף פרסמה את המחקר והמודל בקוד פתוח עבור קהילת המחקר, בעוד שב-Mirelo Studio זמינה גרסה משופרת שאומנה על מאגר נתונים רחב יותר.
כיצד זה עובד?
קצת טכני ברשותכם: מאחורי הכלי עומד מודל Transformer שמבצע את תהליך התמלול כבעיית Language Modeling. תחילה האודיו מומר לייצוג ספקטרלי (Mel Spectrogram), ולאחר מכן המודל חוזה רצף של "טוקנים" המייצגים גובה צליל, תזמון וסוג כלי הנגינה. גישה זו מאפשרת להפיק רצף MIDI מפורט גם כאשר מספר כלים מנגנים במקביל. אם זו לא שמיעה כמו בני אדם כבר - אני לא יודע מה אני... והחוצפן הזה יודע לזהות סולם, קצב ואקורדים!
מדריך שימוש קצר, קל
- פותחים את כלי Audio-to-MIDI בתוך Mirelo Studio.
- מעלים קובץ WAV או MP3.
- ממתינים לניתוח האוטומטי.
- בודקים את ערוצי ה-Piano Roll שנוצרו.
- מבצעים תיקונים במידת הצורך.
- מייצאים כל ערוץ כ-MIDI או MusicXML.
- מייבאים את הקבצים אל Cubase, Logic Pro, Ableton Live, Pro Tools או כל DAW אחר התומך ב-MIDI.
יתרונות
- חיסכון משמעותי בזמן תמלול.
- פירוק אוטומטי של כלים מתוך מיקס.
- עבודה עם רוב תוכנות ההפקה.
- זיהוי מידע מוזיקלי מעבר לתווים בלבד.
- אפשרות לבצע תיקונים לפני הייצוא.
מגבלות שכדאי להכיר
כמו בכל מערכת תמלול אוטומטית, איכות התוצאה תלויה גם באיכות ההקלטה, בצפיפות המיקס וברמת העיבוד. הקלטות עמוסות במיוחד, רעשי רקע או אפקטים כבדים עלולים לדרוש בדיקה ותיקון ידני של חלק מהתווים לאחר ההמרה. גם כאשר זיהוי הכלים מצליח, עדיין מומלץ לבצע בקרת איכות לפני שילוב ה-MIDI בפרויקט מקצועי.
שאלות נפוצות (FAQ)
סיכום
Mirelo Audio-to-MIDI מציג גישה עדכנית להמרת אודיו ל-MIDI באמצעות בינה מלאכותית, עם דגש על עבודה מול מיקסים מרובי כלים. עבור מפיקים מוזיקליים, מלחינים, אנשי אולפן ויוצרי פסקול, מדובר בכלי שעשוי לקצר את שלב התמלול ולהקל על עריכה, לימוד וניתוח מוזיקלי. למרות שכמו בכל פתרון אוטומטי עדיין נדרש לעיתים ליטוש ידני, השילוב בין זיהוי כלים, הפקת ערוצי MIDI נפרדים וזיהוי מידע הרמוני מציב אותו כאחד הפיתוחים המסקרנים בתחום תמלול המוזיקה מבוסס הבינה המלאכותית.