דמיינו שאתם לוחצים על אקורד ב-MIDI קונטרולר - ותוך פחות מרבע שניה מתנגן מאחוריכם אנסמבל שלם שעוקב אחרי ההרמוניה שלכם, בסגנון שאתם הגדרתם. לא לופ שמסתובב. לא הדמייה (רנדר) שממתינים לה. מוזיקה חיה, הנוצרת בזמן אמת, על המחשב שלכם.

זה בדיוק מה ש-Magenta RealTime 2 (MRT2) של Google  מציע - והוא שוחרר לציבור כמודל פתוח (open-weights), כולל קוד מקור, אפליקציות מוכנות לשימוש, ופלאגין למערכות ההקלטה שלכם.

בשנים האחרונות הכלי עשה קפיצה: מ-TPU ייעודי עם השהייה של שלוש שניות - ל-MacBook רגיל עם 200 אלפיות שניה. לראשונה, AI מוזיקלי מרגיש כמו כלי נגינה ולא כמו render job.

מה זה בעצם MRT2?

Magenta RealTime 2 הוא מודל AI מוזיקלי המיועד ליצירה אינטראקטיבית בזמן אמת - לא לרנדרינג של שיר מהנחיית טקסט, כמו ב-Suno או Udio. הפרדיגמה כאן שונה לגמרי: המודל הוא כלי נגינה שאתם מנגנים עליו, המגיב לקלט שלכם ויוצר אודיו רציף שמשתנה לפי מה שאתם עושים.

שלושה ערוצי שליטה עומדים לרשותכם בו-זמנית: MIDI (תווים, אקורדים), טקסט (תיאור סגנון - "string ensemble", "disco funk"), ואודיו (דגימה קצרה שממנה המודל "למד" צליל חדש). ניתן לשלב בין השלושה בכל רגע נתון, ולשנות את הכיוון תוך כדי ניגון.

הקפיצה מ-MRT1 ל-MRT2 - המספרים שמספרים את הסיפור

הגרסה הראשונה של Magenta RealTime כבר הפגינה שיצירת מוזיקה בזמן אמת עם AI אפשרית - אבל התנאים המעשיים היו רחוקים מהאולפן. היא דרשה GPU או TPU מקצועי, עבדה בחתיכות של שתי שניות, וזמן ההגבה לשינוי היה כשלוש שניות - מה שהפך כל אינטראקציה אמיתית לבלתי אפשרית בהופעה חיה.

פרמטר MRT1 MRT2 ✦
חומרה נדרשת GPU / TPU ייעודי MacBook Apple Silicon
גודל פריים 2 שניות 40 אלפיות שניה
השהיית תגובה ~3 שניות ~200ms
ערוצי שליטה טקסט, אודיו טקסט, אודיו, MIDI
גודל מודל 760M / 220M 2.4B / 230M
אינטגרציה DAW - AU Plugin
קוד פתוח - ✓ open-weights + קוד מקור

מה אפשר לעשות איתו - ששה מצבי שימוש

גוגל שחררה יחד עם המודל שלוש אפליקציות ופלאגין AU, עם ששה יכולות מרכזיות:

MIDI Steering
לוחצים תו או אקורד - המודל מגיב עם אנסמבל שלם שעוקב אחרי ההרמוניה. ניתן לנגן "עם" המודל או לתת לו לנגן לבד.
Text-to-Synth
מקלידים "string ensemble" או "funky bass" - המודל הופך לכלי נגינה חדש שניתן לנגן עליו מיד דרך MIDI.
Audio Cloning
מניחים קליפ של כמה שניות - המודל "לומד" את הצליל ומאפשר לנגן עליו כאינסטרומנט. שימושי לשיבוט סינתים-וינטאג׳, כלים אקוסטיים, למעשה כל דבר.
Prompt Mixing
ממזגים בין שני פרומפטים (טקסט או אודיו) על ציר רציף - ואפשר לנוע ביניהם בזמן אמת תוך כדי ניגון.
Sound Design
משלבים מוזיקה עם אפקטי סאונד ומשחקים ברמת "הכאוס" - מרקמים חדשים שלא קיימים בשום ספרייה.
Modulation / Gesture Control
LFO, MIDI CC, או אפילו מצלמה כבקר תנועה - מניעים את המודל דרך ה-latent space בזמן אמת.

 

שלוש אפליקציות + פלאגין DAW

לצד המודל, גוגל שחררה ארבעה כלים להורדה מיידית:

  • Jam (אפליקציה) - ממשק ישיר לניגון עם המודל: style presets, שליטת MIDI, קל להתחיל. מתאים לסשן השראה מהיר.
  • Collider (אפליקציה) - ממשק דו-ממדי המאפשר למזג ולהתנגש בין סגנונות על "מפה" - גוררים נקודה ומרקמי הסאונד משתנים בהתאם.
  • MRT2 Plugin (AU + Standalone) - הפלאגין הגמיש ביותר, גישה מלאה למודל, אינטגרציה ל-DAW כ-Audio Unit. מתאים לעבודת אולפן רצינית.
  • Creative Coding Extensions - (למפתחים) הרחבות ל-Max/MSP, PureData, ו-SuperCollider לבניית כלים מותאמים אישית.

Connecting with Music Through Magenta.js

מאחורי הקלעים: למה 200ms ולא יותר?

הסוד הטכני של MRT2 הוא שינוי ארכיטקטוני קריטי. ב-MRT1 המודל חיכה שתי שניות כדי לאסוף "חתיכה" שלמה לפני שעיבד. ב-MRT2 המודל עובד פריים-פריים, כל 40 אלפיות שניה (25 פריימים בשניה), ומקבל את כל ערוצי השליטה בכל פריים מחדש - כך הוא יכול להגיב לשינוי ב-MIDI כמעט מיידית.

MRT2 הוא השלב הבא: אותה פרדיגמה של שליטה חיה ורציפה, אבל ללא ענן, ללא latency של רשת, וללא תשלום. הכל רץ אצלכם.
כל מפתח, מעצב סאונד, או חוקר יכול לבנות כלים חדשים על גבי המודל. גוגל עצמה הכריזה שבקרוב תגיע תמיכה ב-finetuning - כלומר, תוכלו לאמן גרסה של המודל על הסאונד שלכם.

הפסקולן הפנימי (אימצתי :) ) המאפשר את זה הוא SpectroStream - codec של גוגל שדוחס אודיו סטריאו 48kHz ל-3 קילוביט בשניה. כדי שזה ירוץ על MacBook ולא על שרת, גוגל כתבה inference engine ב-C++ שמשתמש ב-Apple MLX framework ומנצל ישירות את ה-GPU של Apple Silicon. אני מניח שבקרוב נראה את זה רץ על כרטיסי עיבוד ׳בריאים׳ גם על פיסי.

דרישות חומרה

מודל גודל דרישת חומרה
Base 2.4B פרמטרים · ~2.5GB MacBook M3 Pro ומעלה, או M2 Max ומעלה
Small 230M פרמטרים · ~450MB כל MacBook Apple Silicon, כולל MacBook Air

חשוב: שתי הגרסאות דורשות הגדרת sample rate של 48kHz - ב-DAW (פלאגין) או ב-Audio MIDI Setup (standalone). המשקלים מורדים אוטומטית בהפעלה ראשונה.

ה-Infinite Crate וההקשר הרחב יותר

כדי להבין את MRT2 בהקשר הנכון, שווה לזכור שגוגל כבר הציגה בשנת 2025 את The Infinite Crate - פלאגין DAW שהשתמש ב-Lyria RealTime API, מודל ענן שדורש חיבור לאינטרנט. הוא היה צעד ראשון בכיוון של מוזיקה generative בתוך ה-DAW, ונוצר בעקבות שיתופי פעולה עם אמנים כמו Jacob Collier ו-Toro y Moi.

MRT2 הוא השלב הבא: אותה פרדיגמה של שליטה חיה ורציפה, אבל ללא ענן, ללא latency של רשת, וללא תשלום. הכל רץ אצלכם.

מודל פתוח לחלוטין - מה זה אומר בפועל

גוגל שחררה את MRT2 כ-open-weights דרך Hugging Face, וכן קוד מקור מלא ב-GitHub - כולל ה-inference engine ב-C++ וה-Python library (pip install magenta-rt).

המשמעות: כל מפתח, מעצב סאונד, או חוקר יכול לבנות כלים חדשים על גבי המודל. גוגל עצמה הכריזה שבקרוב תגיע תמיכה ב-finetuning - כלומר, תוכלו לאמן גרסה של המודל על הסאונד שלכם.

איך להתחיל כבר עכשיו

אם יש לכם MacBook עם Apple Silicon - הורדה, הפעלה, וניסיון אמורים לקחת פחות מעשר דקות. המשקלים מורדים אוטומטית בהפעלה ראשונה.

לאנשי אולפן: הפלאגין AU הוא הדרך הישירה. שימו אותו על ערוץ MIDI, הגדירו את ה-DAW ל-48kHz, ותתחילו עם MIDI Steering. לסאונד דיזיינרים: Audio Cloning ו-Prompt Mixing הם הזדמנות לייצר מרקמים שלא קיימים בשום ספרייה. השילוב עם Max/MSP ועם SuperCollider פותח אפשרויות נרחבות לאינסטלציות ולהופעה אינטראקטיבית.

תשובות לשאלות נפוצות:

מה זה Magenta RealTime 2 ואיך הוא שונה מכלי AI מוזיקלי רגיל?
Magenta RealTime 2 הוא מודל AI שיוצר מוזיקה בזמן אמת, תוך כדי ניגון — לא כלי שמרנדר שיר מ-prompt ומחזיר קובץ. אתם לוחצים אקורד ב-MIDI, והמודל מגיב תוך כ-200 אלפיות שניה עם אנסמבל שלם שעוקב אחריכם. הוא פועל כמו כלי נגינה, לא כמו render job.
על איזה מחשב MRT2 עובד?
MRT2 פועל על Mac עם Apple Silicon בלבד (M1 ומעלה). המודל הקטן (230M פרמטרים) רץ על כל MacBook Air עם Apple Silicon. המודל המלא (2.4B פרמטרים) דורש לפחות MacBook M3 Pro או M2 Max. Windows אינו נתמך כרגע.
האם MRT2 חינמי וניתן להורדה?
כן, לחלוטין. MRT2 שוחרר כמודל פתוח (open-weights) בחינם — כולל קוד מקור ב-GitHub, משקלי מודל ב-Hugging Face, שלוש אפליקציות (Jam, Collider, Standalone) ופלאגין AU ל-DAW. אין מנוי, אין API key, אין ענן — הכל רץ מקומית על המחשב שלכם.
איך משלבים את MRT2 בתוך ה-DAW?
MRT2 מגיע כפלאגין Audio Unit (AU) שנטען ישירות ב-Logic Pro, Ableton Live, Reaper וכל DAW שתומך ב-AU על Mac. חשוב להגדיר את ה-DAW לעבוד ב-48kHz — זו דרישת חובה של המודל. לאחר הטעינה, אתם שולחים MIDI לפלאגין והוא מחזיר אודיו חי.
מה ההבדל בין שלושת ערוצי השליטה — MIDI, טקסט ואודיו?
MIDI מכוון את ההרמוניה והמנגינה בזמן אמת — לוחצים נוטה, המודל מגיב. טקסט (prompt) מגדיר את הסגנון והצליל, למשל "jazz piano" או "ambient strings". אודיו מאפשר לטעון קליפ קצר שממנו המודל "לומד" צליל חדש ומאפשר לנגן עליו כאינסטרומנט. אפשר לשלב בין השלושה בו-זמנית.
האם אפשר להשתמש בתוצאות מ-MRT2 בהפקה מסחרית?
המודל שוחרר תחת רישיון פתוח המאפשר שימוש מסחרי, אך מומלץ לבדוק את תנאי הרישיון המדויקים ב-Hugging Face לפני שימוש בהפקה מסחרית. מבחינה מעשית, כיוון שהאודיו נוצר מקומית ואין שירות ענן באמצע, אתם שולטים לחלוטין בתוצר.
מה ה-Infinite Crate ואיך הוא קשור ל-MRT2?
The Infinite Crate הוא פלאגין DAW שגוגל שחררה ב-2025, שהשתמש ב-Lyria RealTime — מודל ענן שדורש חיבור לאינטרנט ו-API key. MRT2 הוא הדור הבא: אותה יכולת של מוזיקה generative בזמן אמת בתוך ה-DAW, אבל ללא ענן, ללא תשלום וללא תלות בחיבור לאינטרנט.
האם אפשר לאמן את המודל על הצליל שלי (finetuning)?
לא עדיין — נכון ליוני 2026, finetuning עדיין לא זמין אך גוגל הכריזה רשמית שהוא בדרך. בינתיים, ערוץ ה-Audio Cloning מאפשר להזין קליפ קצר ולהשתמש בצליל שלו כנקודת מוצא, מה שנותן רמה גבוהה של התאמה אישית גם ללא אימון מחדש.
🔗 קישורים רשמיים