Piano Genie מזכיר במובנים מסוימים משחקי וידאו כמו Rock Band ו- Guitar Hero הנגישים למוזיקאים מתחילים, עם ההבדל המכריע שמשתמשים יכולים לאלתר בחופשיות על Piano Genie במקום לשחזר שירים מרפרטואר קבוע. אתה יכול לנסות את זה בעצמך באמצעות הדגמת האינטרנט האינטראקטיבית המקושרת למטה.

ישנן דרכים רבות בהן אפשר למפות רצפי קונטרולר בעל 8 כפתורים לנגינת פסנתר מלאה. התוכנה מגבילה את עצמה למיפויים של 1 ל-1 בין לחיצות על כפתורים ותווים, ומעניקה למשתמש שליטה מדויקת על התזמון ומידת הפוליפוניה אך לא אילו מהתווים מנוגנים. אפילו בהתחשב בהגבלה, ישנם מיפויים אפשריים רבים; לדוגמה, 8 הכפתורים יכולים למפות בקנה מידה קבוע על פני אוקטבה אחת. במקום להשתמש במיפוי קבוע שכזה, הכלי למד מיפוי משתנה-בזמן באמצעות ארכיטקטורת מקודד אוטו-דיסקרטית המאומנת על אוסף של נגינות פסנתר קיימות.

 

 

מקודד LSTM דו-כיווני ממפה רצף של תווי פסנתר לרצף של לחצני בקר (מוצגים רק 4 באיור שלמעלה, 8 במערכת בפועל). מפענח LSTM חד-כיווני מפענח את רצפי הבקר הללו בחזרה לנגינת פסנתר. לאחר האימון, המקודד מנוטרל ורצפי השליטה מסופקים על ידי מקלדת/לחצני המשתמש.

 

אולי שמתם לב בסרטון ההדגמה שלמעלה שקווי המתאר של הצליל בביצוע הפסנתר מחקים מקרוב את קווי המתאר של רצף הכפתורים. התנהגות כזו מעודדת על ידי מונח אובדן-אימון ה׳קונס׳ את המקודד על הפרת סדר הגובה היחסי, לדוגמה, אם מרווח פסנתר עולה, ממפה למרווח לחצנים יורד. 

 

 

המתכנתים אימנו את המודל על סט של 1400 ביצועים וירטואוזיים מהתחרות הבינלאומית לפסנתר אלקטרוני, אותו מערך נתונים המשמש ב-RNN Performance. בחירה זו של מערך נתונים משפיעה באופן טבעי על סגנון הביצועים שנוצרו; מכיוון שהחברה רכשה את המודל כקוד פתוח , אתם מוזמנים לאמן את Piano Genie בעצמכם על סט קבצי MIDI משלכם.