יש משחק אחד, No Man's Sky. לא משנה כרגע בדיוק מה קורה בו. הוא יצא כשהוא מבטיח הרים וגבעות, אבל הכיל, בהשקה, הרבה פחות מההבטחה. הפער הזה גרם לשנאה עזה למשחק שהתבטאה בביקורות גרועות ללא פרופורציות למה בעצם היה בו. אבל לאורך השנים הוא הלך והשתפר, ואפשר לראות את זה פער בין הביקורות שהוא קיבל ב-Steam, פלטפורמה מקוונת למכירת משחקים:
סך הביקורות על המשחק כוללות את המאסה הראשונית, המבקרים שבאו בגלל ההייפ וקיבלו במקרה הטוב הבטחה שקוימה רק חלקית, במקרה הרע גרסת ניסוי לא מתפקדת, אבל בהחלט לא קרוב למה שהם ציפו, והביקורות בהתאם. ולביקורות שליליות יש נטיה למשוך אליהן עוד ועוד, כשמשחק או סרט הופך לשק חבטות אז באים רבים להוסיף את הביקורות שלהם למדורה, והתוצאה היתה אלפי ועשרות-אלפי ביקורות גרועות.
אבל אז עבר זמן, ואיתו שני דברים קרו: הראשון הוא שהמשחק השתפר. המפתחים המשיכו לפתח, להוציא תיקונים ושיפורים, והמשחק התקרב קצת יותר לחזון המקורי. אבל במקביל, ההייפ סביב המשחק ירד, אנשים הפסיקו לשחק בו רק בשביל להתעצבן עליו, ומי שבא אל המשחק בשלבים מאוחרים יותר, שנה או שנתיים אחרי שיצא, קיבל משחק בשל יותר, אבל גם קיבל את המשחק שהוא ציפה לקבל, ולא את ההבטחות המקוריות. ואז הביקורות התחילו להשתפר, ולהשתפר, ולהשתפר. מספיק בשביל שגם אם סך הביקורות מעורבות, הביקורות האחרונות של המשחק נהיו חיוביות באופן מובהק, ומספרות סיפור אחר לגמרי על המשחק הזה, והאם כדאי למישהו לבחור לקנות ולשחק בו. וזה גרם לי להבין ש-Steam עשו משהו מאד מעניין עם הביקורות כאן, ובעצם סיפרו כאן סיפור באמצעות המתח בין שני הדירוגים הללו.
דירוג בתוך הקשר ונוסחאות בייזיאניות
כל זה גרם לי לחשוב שאולי, בעצם, אני לא באמת יודע מה אני רואה, כשאני רואה דירוג באתר כמו סטים או IMDB. יש ציפיה, אני חושב, שכשאני רואה דירוג מספרי, הוא יהיה משהו פשוט יחסית – ממוצע של המדרגים, מוצג כפי שחושב. אבל אין באמת סיבה שככה יעבדו הדירוגים. אם זה היה המצב, אז סרט או משחק שקיבל דירוג אחד בודד יעמוד בראש הרשימה עם 10 עגול, בעוד סרט עם 100 דירוגים כמעט בטוח יהיה מתחתיו.
חשבתי לעצמי שבטח יש נוסחאות מקובלות להגן על הדירוג מהטיות כאלה, וכמובן שמצאתי שיטה מקובלת כזו, המכונה "ממוצעים משקוללים בייזיאנים" (Bayesian Weighted Average), על שמו של הסטטיסטיקאי בן המאה ה-18 תומאס בייז, ולמרות שאני לא ממש טרחתי לנסות להבין את המשוואות שלה, הרעיון הבסיסי מאחורי הטכניקה יחסית פשוט: כשאנחנו באים לחשב את הממוצע, אנחנו לא מסתמכים רק על הנתונים עצמם, אלא גם על ידע מוקדם שלנו על העולם ועל מה שהממוצע בא לייצג. כלומר, אם אנחנו יודעים שסרטים, בדרך כלל, *לא* יקבלו דירוג של 10 מושלם, אז כשאנחנו באים לראות את ממוצע הדירוגים של סרט שקיבל הצבעה בודדת עם דירוג 10, אנחנו נשתמש בידע המוקדם כדי להניח שכנראה לסרט הזה לא צריך להיות דירוג סופי של 10.
אז אפשר לקחת את הציון הממוצע לסרט בכל המאגר (שב-IMDB עומד על אזור ה-6.8, כך מצאתי), ולהגיד "בהיעדר עדויות משכנעות אחרות, לכל סרט חדש גם יהיה דירוג של 6.8". הצבעה אחת היא לא עדות מספיק משכנעת, ולכן היא תעלה את הדירוג רק קצת מעל הממוצע. אבל ככל שיש יותר הצבעות, כך התפקיד של הממוצע הראשוני הולך ויורד – אם 100 איש נתנו דירוג 10, או אם 10,000, אז המשמעות של הדירוג שלהם משמעותי יותר, והדירוג יהיה קרוב יותר לממוצע האמיתי של ההצבעות.
כמובן שיכולים להכנס למשוואה עוד משקלים ותיעדופים, ובמקרים כמו IMDB אין לנו שום דרך לדעת מה הם – האם אולפנים יכולים לשלם כדי לקבל תוספת לדירוג? כנראה שלא, אבל אין דרך לדעת, מה שיכול להוביל לחשדנות כלפי הדירוג כשאין בו שקיפות, כמו בפוסט הזה של קולנוען בהונג קונג שמרגיש שעושים מניפולציות בדירוג של הסרטים שלו. אבל גם אם נוריד את מפלס הרטוריקה שלו ("פגיעה בזכויות הצרכן ובזכויות האדם!"), מה שהוא מתאר – סרט שהדירוג שלו השתנה בלי שהגיעו הצבעות חדשות – פשוט מראה ש-IMDB מעדכנים את הדירוגים בהתאם לאותו ידע חיצוני – אם מחר הממוצע של הסרטים באתר יעלה ל-7.1, זה ישפיע רטרואקטיבית על הדירוגים של כל הסרטים, בטח אלה עם מעט הצבעות (כמו שלו). אבל כשאין שקיפות, אין לו דרך לדעת או להבין את זה, רק לנחש.
סיפור מתוך הדירוג
אתר אחד שכן משקיע בשקיפות הדירוגים שלו הוא AnimeNewsNetwork, אתר ביקורות ודירוגים לסרטי וסדרות אנימה שמשתמש בדירוג ה-Top 10 שלו בטכניקה הבייזיאנית שציינו למעלה. אבל בניגוד ל-IMDB, הוא כותב את זה במפורש בתחתית הרשימה: הוא מסביר בקצרה על הנוסחה, מציין את הדירוג הממוצע ממנו הוא מתחיל (7.5034, בזמן כתיבת שורות אלו), ואפילו מסכם בשפה פשוטה: "אלה סרטים וסדרות שהמון אנשים חושבים שהם מצוינים". הסבר מצוין.
אבל האתר הולך עוד צעד כאן ונותן עוד חיתוכים שונים, דירוגים אחרים שנגזרים מההצבעות של הגולשים. למשל, הם נותנים גם את דירוג ה-Best Rated, כלומר ממוצע של דירוגי הגולשים בלי הנוסחא הבייזיאנית שמצמצמת השפעות של סרטים נדירים (אם כי הם עדיין מקטינים את ההשפעה של הצבעות שיתכן שאינן בתום לב, כמו מצביע שהתחבר לאתר ומיד נתן 10 לכותר אחד ו-1 לאחרים). מה שאנחנו מקבלים זה דירוג אחר מאותם נתונים שמספר לנו סיפור אחר – במקום הסיפור הקודם של "סרטים שהמון אנשים אהבו", יש לנו "סרטים שיש אנשים שממש אהבו אותם, ואולי לא הכרת כי הם פחות פופולריים". בראשון יש הטיה ליצירות עם הרבה הצבעות (כדי להרומם מעל הממוצע) אבל בסיפור הזה אין – אותם נתונים גולמיים, סיפור אחר לגמרי.
אבל אז יש להם עוד כמה סיפורים לספר. האתר מאפשר לגולשים מזוהים לנהל רשימה אישית של הסרטים והסדרות שהם ראו, ומהנתון הזה אפשר לדעת איזה סדרות וסרטים הם הכי נצפים באתר. כשמחברים את הנתון הזה עם הדירוגים, מקבלים פתאום סיפורים חדשים: Most Underrated הוא דירוג שמצליב בין המיקום בטבלת "הכי נצפים" עם דירוג ה-"Top 10" הראשון, ומוצא את הסרטים עם הפער הגדול ביותר בין הדירוג שהם קיבלו לבין כמה מעט אנשים צפו בהם. במקום הראשון כרגע, למשל, יש סדרת סרטים בשם Made In Abyss שהדירוג המשוקלל שלהם הוא 8.11 אבל רק 23 איש סימנו שצפו בהם. אם היו צופים בהם בפרופורציה לדירוג שלהם, מספרת הטבלה, הם היו עולים 6223 מקומות בטבלת הצפיה. מרשים!
יש כמובן גם את המדד הנגדי, Most Overrated, שמציג יצירות עם המון צופים אבל דירוג נמוך (כאן מככבים Dragon Ball, פוקימון, וסדרות ילדים ונוער רבות). או Most Divergent, היצירות עם סטיית התקן הגדולה ביותר בקרב המצביעים לה. וזה מראה איך אפשר לקחת משהו פשוט כמו דירוגים שאנשים נותנים ליצירות ולספר איתם סיפורים הרבה יותר מעניינים מאשר "מה הסרט הכי טוב".
כשאני כותב או מדבר על אינפוגרפיקה, אני אוהב להדגיש שאינפוגרפיקה זה סיפור – זה סיפור שמישהו מנסה לספר באמצעות גרפים ומספרים, עם צבעים והדגשות. לפעמים בצורה מכוונת ולפעמים בלי להתכוון. באותה מידה, גם דירוגים הם דרך לקחת מספרים ולספר איתם סיפור, ויש הרבה סיפורים שאפשר לספר. סיפור על משחק שהתחיל ברעש וכעס וטיפס החוץ מתוך הבוץ כמו במקרה של No Man's Sky. סיפור על סדרת סרטים עלומה שהיא הדבר הכי טוב שעוד לא ראיתם כמו במקרה של Made in Abyss. סיפורים מורכבים שאפשר לספר אם אנשים יטרחו לחשוב מה אפשר לעשות, מה אפשר להוציא מהנתונים הגולמיים שלהם.