לפי מה תוגרל כל מכונה?
לפי מידת הידע שלנו על הריווחיות שלה
פתרון כללי יותר לבעיה נקרא Softmax Action Selection אשר לפיו בחירת הפעולה בכל רגע גם תוגרל אך לא רק בין שתי אפשרויות כמקודם – בין המכונה הכי ריווחית עד כה או מכונה כלשהיא אקראית. אלא תוגרל מבין כל האפשרויות, כל המכונות, אך לפי התפלגות שנלמדה עד עתה. במילים אחרות, נגריל מכונה לפי מידת הידע שלנו על הריווחיות שלה. ככה, עדיין המכונה הכי טובה, לפי הידע של אותו הרגע, תיבחר הכי הרבה, אך גם המכונה השניה הכי טובה, לפי הידע של אותו הרגע, תיבחר השנייה הכי הרבה. מכונות שאין לנו עליהן מידע כלל ייבחרו הכי פחות. בשיטה זו פחות נפסיד בהתחלה ויותר נמצה את הידע שלנו בסוף.
לפי התשובה, העובדה היא:

מכונות יתוגרלו על פי מידת הידע על הריווחיות שלהן.