השוקת השבורה של הסוקרים

מאת עדי שריד |

אתמול נוכחנו לחוות מקרה מצער נוסף בסדרה של מקרים: כשל מהותי בחיזוי תוצאות הבחירות.

יום לפני יום הבוחר הכותרות בארה"ב היו לכיוון קלינטון:

"There’s a wide range of outcomes, and most of them come up clinton"

  -- Nate Silver, the fivethirtyeight blog.

כידוע, התוצאה הפוכה - טראמפ זכה.

 

הציטוט הוא של נייט סילבר, סטטיסטיקאי אמריקאי הידוע ביכולות ובמודלים שלו לשילוב בין מקורות, ומתן חיזויים מדויקים (בדר"כ) לתוצאות הבחירות בארה"ב. הפעם הוא חזה סיכוי של מעל 70% לניצחונה של הילארי קלינטון, אך לבסוף התממשה התוצאה ה"פחות סבירה" לשיטתו (הנה הקישור למאמר יום לפני הבחירות). 

להגנתו של נייט אציין ש-30% סיכוי לניצחון של ה-Underdog, הם סיכויים מאוד גבוהים יחסית (בטח בהשוואה למספרים של מערכות בחירות קודמות בארה"ב). מרבית הפרשנים והסוקרים היו בטוחים בנצחונה של הילארי קלינטון. וכידוע, התעוררנו עם דונלד טראמפ כנשיא הנבחר.

אם נלך מעט אחורה בזמן, זה קרה גם ב-Brexit ביוני השנה: הסקרים חזו ניצחון קל של הישארות בריטניה באחוד (והתוצאה בפועל היתה הפוכה). וגם בחלקנו נפל דבר, בבחירות 2015, כשביבי הפתיע את כולם ברגע האחרון, סחף קולות לעבר הליכוד, ושבר את כל תחזיות המנדטים לליכוד.

שלושת המקרים הללו שונים זה מזה: בשיטת הדגימה, שיטת הבחירות, ובמקור הטעות. אך מהותית, בשלושת המקרים מדובר בכשל בחיזוי. הסקרים מראים דבר מסוים אך בפועל קורה ההפך.

האם זה אומר שצריך להפסיק להאמין לסקרים?

האם הסוקרים מוטים לצד מסוים?

האם המשיבים לסקרים משקרים?

האם אפשר לתקן את מה ש"מקולקל"?

המציאות יותר מורכבת מזה - היא לא "שחור ולבן", והנה ההסבר שלי...

לא משתמשים בפטיש בשביל להבריג

סקרים הם "כלי עבודה". כמו כל כלי עבודה חשוב להבין את היכולות ואת המגבלות שלהם.

כמו שפטיש נועד לדפוק מסמר (ולא להבריג בורג), סקרים נועדו להעריך (דעות, שיעור באוכלוסיה, וכו').

יש כמה סוגי שגיאות שעלולות לפגוע במהימנותם, ולהפוך אותם ללא מתאימים לחיזוי מערכות בחירות, בדגש על בחירות שבהן המירוץ צמוד. הנה כמה שגיאות לדוגמה שעשויות להשפיע על התחזית:

  1. שגיאת דגימה/מדגם מוטה (אי היכולת להגיע למדגם המייצג את האוכלוסיה הרלוונטית);

  2. הטעיה מכוונת - משיבים שאינם מהימנים (שקרנים או משיבים ש"לא נעים להם" לומר את האמת);

  3. סירוב להשתתף (למעשה שילוב של שתי הנקודות הקודמות) - אנשים שפונים אליהם אך מסרבים להשתתף בסקר (כי הם מתביישים באמת או מסיבה אחרת);

  4. הטעיה לא מכוונת על ידי הנשאלים (רצייה חברתית) - המשיבים אומרים מה שהם חושבים שהצד השני רוצה לשמוע;

  5. השפעות של "הרגע האחרון" - אירועים משמעותיים שיכולים להפוך את ההחלטה של הבוחרים, כגון הנעה להצבעה (אנשים שלא תכננו להצביע במקור אך כן מגיעים), או שינוי ההצבעה ברגע האחרון. שתי תופעות שראינו גם בבחירות 2015 בישראל;

  6. שגיאת אמידה סטטיסטית - השגיאה ה"קלאסית" ששמה כל תוצאה סטטיסטית במרווח טעות מסוים (סטטיסטיקאים אוהבים מדגם של 500 משיבים שמביא לשגיאה של עד 4.4%).

כשמנסים לחזות את שיעור המצביעים למועמד מסוים, יש שגיאות שקשה להעריך ולקזז (או במילים אחרות "כל מספר זוכה"). התופעה הזו נהיית יותר קשה ככל שהמרוץ יותר צמוד ובפרט כשציבור הבוחרים סופג השפעות בקבועי זמן קצרים מאוד (לדוגמה תקשורת דרך רשתות חברתיות שיכולה להשפיע על החלטות בחירה בקצב יותר מהיר ממה שאנחנו מסוגלים למדוד אותן).

אני לא יודע (בינתיים) מהם הכשלים הנקודתיים במקרה הנוכחי, ויהיה מעניין לקרוא את ההסברים שיתפרסמו בימים הקרובים. אבל הנה אנקדוטה קלה לגבי הבוחרים, שאולי יכולה להעיד מן הפרט אל הכלל: קרוב משפחה שלי שביקר בארה"ב לפני מספר חודשים סיפר לי שראה זוג מבוגר שעובר ליד שלט של דונלד טראמפ ברחוב. האשה אומרת לבעלה שהיא "לא סובלת את השובניסט" הזה (וייתכן שהשתמשה במילים חריפות יותר). מיד לאחר מכן, במפתיע, נעמדה "ליד דונלד" וביקשה מבעלה לצלם אותה לידו. מעניין אותי מה האשה הזו שמה בקלפי.

אגב, דונלד טראמפ זכה גם במדינות הנחשבות כ"מעוז הדמוקרטים" (ה-firewall של הילארי), כלומר אנשים שעל פי ההערכות המוקדמות, ועל פי ההצבעה המסורתית של המדינה (ואולי עפ"י מה שדיווחו בסקרים), היו אמורות להצביע להילארי.

אז כנראה שבמרוץ קרוב, תוצאות הבחירות צריכות לבוא עם "הערת אזהרה". התופעות שתיארתי (ואחרות) יכולות להפוך את הקערה על פיה, כך נוכחנו לראות. זו בעיה רצינית בתחזיות בחירות, וטרם ניתן לה פתרון. אגב, בישראל 2015 התחזית הבין גושית (ימין/שמאל) היתה יציבה יחסית. ההפתעה היתה היקף הקולות שניתן לליכוד על פני המפלגות האחרות מגוש הימין.

תקראו לי נאיבי, אבל אני אישית לא חושב שהיתה פה הטעיית ציבור מכוונת מבחינת הסוקרים (ואני מפריד בין הסוקרים לבין כלי התקשורת, שעשויים בהחלט להיות מגמתיים).

מה לגבי סקרים אחרים?

יש הרבה סוגים של סקרים חוץ מסקרי בחירות: סקרי שוק, סקרי לקוחות, סקרים פנים ארגוניים, ועוד. האם השגיאות שתיארתי משפיעות גם על סקרים אחרים (שאינם סקרי בחירות)? בוודאי שכן.

האם זה אומר שאפשר "לזרוק את הסקרים לפח"? ובכן, לא. זה עדיין כלי חשוב בסל הכלים של כל מקבל החלטות, במיוחד בעולם העסקי. אדגים זאת באמצעות סקר לקוחות.

סקר לקוחות כמשל

נניח שארגון מעוניין להבין ממה הלקוחות שלו שבעי רצון, וממה לא?, אילו שירותים נוספים הם היו רוצים לקבל? כיצד למנוע מהם לעזוב למתחרים, ולהפוך אותם ליותר נאמנים? אלו הן שאלות קלאסיות לבירור בסקר לקוחות.

סקר לקוחות עדיין רלוונטי, היום יותר מתמיד. הנה הסבר קצר:

ראשית, סקר לקוחות לא נועד להבחין בין שחור או לבן (או בין אדום לכחול / להישאר או לפרוש). הסקר נועד לנתח את הגוונים השונים והמניעים השונים להתנהגות של הלקוחות. עצם העובדה שלא מדובר בחיזוי אלא בתהליך למידה, כבר שמה אותנו במקום אחר.

ייצוגיות המדגם: לרוב, בסקר לקוחות (וביתר שאת בסקר B2B, כשהלקוחות הם עסקים) אנחנו נפנה לכל האוכלוסיה (כל הלקוחות) ולא למדגם שלהם, כך שלכל לקוח תינתן האפשרות להשיב, ולכל דעה להישמע. במקרה כזה גם גודל האוכלוסיה קטן יותר, הגיוון קטן, והייצוגיות משתפרת.

שיעור ההיענות: הייצוגיות של המדגם מושפעת גם משיעור ההיענות. בסקר לקוחות, לנשאלים יש מניע להשיב, הם רוצים לשפר את השירות, במיוחד אם חוו אירוע שלילי (או חיובי) עם השירות. נוסף על כך אם משקיעים בתהליך הסקירה, נותנים תמריץ ללקוחות ונרתמים לביצוע Follow-up טלפוני למול הלקוחות, ניתן להגיע לשיעורי היענות גבוהים יחסית (30-60%). כלומר ייצוגיות המדגם טובה יותר בהשוואה לסקר בחירות בציבור הכללי. לשם השוואה, בסקר בחירות טלפוני בארץ שיעורי ההיענות עשויים להיות סביב ה-25% בפריפריה, ואף נמוך מכך באזור המרכז.

סירוב להשתתף: לרוב, הלקוחות המסרבים להשתתף בסקר לקוחות אינם כאלו ש"מתביישים" בתשובתם, אלא כאלו שמסרבים מחוסר זמן או חוסר עניין. לכן, סיבת הסירוב לכשעצמה אינה יוצרת את אותן ההטיות שנוצרות בחיזוי בסקרי בחירות (כאמור, אחת הסברות לגבי סקרי הבחירות היא שמי שמסרב להשיב הוא מי שמתבייש בכך שהוא מצביע דווקא למועמד מסוים).

רציה חברתית / שקרים: תופעות אלו קיימות גם בסקרי לקוחות. לדוגמה לקוח, שיודע שהוא צריך להמשיך ולקבל שירותים מהחברה או אפילו מושפע מהקשרים האישיים שיש לו מול החברה (מאיש הקשר הספציפי שאותו הוא צריך לדרג). לקוח כזה עשוי לתת ציונים "גבוהים" או להסתיר את הדעה האמיתית שלו לגבי אותו איש קשר. יש שיטות להתמודד עם מצבים אלו בסקרי לקוחות, כדי למתן ולהקטין את התופעה (אחת מהן, לדוגמה, היא הבטחת אנונימיות בסקר, ונוספת היא ניסוח השאלות בצורה שיוצרת ניתוק בין הקשר והיחסים האישיים לבין שביעות הרצון מהחברה).

השפעות של ה"רגע האחרון": השפעות כאלו שיכולות להפוך את הבחירה במועמד אחד לבחירה במועמד אחר (בהתייחס לסקרי בחירות) הן פחות רלוונטיות לסקר לקוחות. בין אם הסקר מבוצע פעם בשנה כדי לבנות תוכנית אסטרטגית לארגון, או בין אם הוא מבוצע באופן שוטף. ברוב השאלות הלקוחות מתבקשים לבסס את תשובותיהם על חוויות שחוו בעבר, ולא מתבקשים לתת תחזית להחלטה עתידית שיבצעו. נכון שהלקוחות מקבלים החלטה עתידית (לדוגמה להמשיך ולקנות או לעבור למתחרים), אבל מדובר בקבועי זמן שונים, ולא מדובר בנקודת זמן אחת שבה כל הלקוחות מקבלים את ההחלטה הזו (בניגוד לסקרי בחירות).

שגיאת אמידה סטטיסטית: קיימת גם בסקרי לקוחות, אך היא לא החלק העיקרי בתהליך הלמידה מהסקר. למה הכוונה? אם ראינו בסקר ש-50% מהלקוחות אינם מרוצים, או ש-54% מהלקוחות אינם מרוצים (בגבול הטעות הסטטיסטית), שני המספרים האלו מצביעים על בעיה ארגונית שצריך לטפל בה.

סקר לקוחות יכול לעזור לארגון להבין את הלקוחות שלו, וזה חלק מהתקשורת של הארגון עם הלקוחות. זה האמצעי הכמותי העיקרי שדרכו הארגון יכול להבין מה חושבים הלקוחות שלו. השגיאות השונות שתיארתי (גם אם יבואו לידי ביטוי) יהיו פחות משמעותיות בסקר לקוחות, והסקר עדיין יאפשרו לארגון להשוות בין היחידות שלו, להצביע על נקודות בעייתיות שדורשות שיפור, על סוגי שירותים נוספים שהלקוחות היו רוצים לקבל, ולקבל הערות בונות לשיפור.

מה לגבי סקרי שוק?

ניתוח דומה אפשר גם לעשות על סקר שוק (אבל לא אעשה אותו כאן). גם לסקר שוק השגיאות שלו, ונקודות החוזק שלו. הוא נועד להקטין את אי הודאות הכרוכה במיזם, ואת זה הוא עושה נאמנה. באופן אישי, כשאני מציג ללקוח תוצאות של סקר שוק שהזמין, אני שם דגש על נקודות שהתבהרו בעקבות הסקר (וצמצמו את אי-הודאות), ונקודות שבהן הסקר אינו מספק תשובה חד משמעית. הסקר הוא חלק חשוב בפאזל שמרכיב את התמונה הגדולה.

אגב, גם סקרי בחירות, יש משני סוגים. סקרי ה"רכילות" המוצגים בכלי התקשורת, והסקרים הנשארים חסויים ומוזמנים בידי מנהלי הקמפיינים. הסקרים הללו משמשים את מנהלי הקמפיין כדי להחליט לאיזה מדינה ללכת, אילו מסרים יגיעו ללב הבוחר, והיכן להשקיע את מירב המשאבים. בעבר פרסמנו על כך בבלוג שלנו, ואתם מוזמנים לקרוא על כך בקישור הבא.

מוסר השכל

אל תמהרו להספיד את מקצוע הסוקרים. שגיאות בסקרים תמיד היו קיימות ותמיד יהיו קיימות. כמו כן לא קיים מודל שמתאר את המציאות אחד לאחד.

במקרה של סקרי בחירות, ראינו שהסקרים נותנים חיזוי שגוי. זו בעיה רצינית, וטרם ניתן לה פתרון. ייתכן שהכיוון הוא להעשיר את המודלים הקיימים גם בנתונים מעולמות תוכן נוספים (כמו רשתות חברתיות).

עם זאת, לגבי סקרים התומכים החלטות עסקיות (סקרי לקוחות, סקרי שוק, ועוד), הם ממשיכים להשיג את המטרה שלהם ומשרתים נאמנה את החברה שהזמינה אותם, בתנאי שהם מבוצעים בצורה נכונה שיכולה לעקוף את הקשיים והמגבלות (ובתנאי שמבינים מהם המגבלות שלהם).

 

 

 

 

 

עדי שריד - מנהל מחלקת חקר הביצועים ושותף במכון שריד
עדי שריד
מנהל מחלקת חקר הביצועים ושותף במכון שריד. עדי הינו תלמיד מחקר (דוקטורנט) באוניברסיטת תל-אביב במחלקה להנדסת תעשייה, בעל תואר שני בחקר ביצועים וסטטיסטיקה מטעם אוניברסיטת תל אביב, ותואר ראשון במתמטיקה עם סטטיסטיקה וחקר ביצועים מטעם הטכניון. בעל ניסיון עתיר בביצוע מחקרים סטטיסטיים ומחקרי חקר ביצועים.
 
 
 

 

ליצירת קשר, השאירו פרטים ונשוב בהקדם