סקרים - שאלות ותשובות

לעיתים קרובות אנחנו נתקלים בשאלות החוזרות על עצמן בהקשר של סקרים: מה זה מדגם מייצג? מהו "פיילוט" ובשביל מה צריך אותו? למה לראיין 500 איש? מהן שיטות דגימה? כמה שאלות אפשר לשאול בסקר? ושאלות נוספות...

במאמר זה איגדנו כמה מהשאלות הנפוצות ותשובות שיכולות לסייע בהבנה.

 

מה זה מדגם מייצג?

 

ראשית נסביר מהו מדגם.  ומה זו אוכלוסייה.
כאשר אנו מעוניינים לקבל מידע ולהסיק מסקנות על אוכלוסייה מסוימת, ישנן שתי אפשרויות: האחת היא לפנות לכל האוכלוסיה והאפשרות השנייה היא פנייה למדגם.
בדרך כלל פנייה לכל האוכלוסיה אינה אפשרית, או יקרה מאוד (תארו לעצמכם לפנות לכל אוכלוסית מדינת ישראל לצורך סקר – מדובר באופרציה ארוכה ויקרה מאוד. רק הלשכה המרכזית לסטטיסטיקה נוקטת בשיטה מעין זו, פעם בכ-10 שנים מתוקף חוק ובמסגרת מפקד האוכלוסין). האופציה של פנייה לכלל האוכלוסיה אם כן, משמשת בעיקר כשמדובר באוכלוסיה קטנה יחסית ובמקרים מיוחדים.
בדרך כלל נשתמש במדגם: כשמו כן הוא – דגימה של חלק מהאוכלוסיה. מן הסתם, כאשר אנו מבצעים דגימה, רמת הדיוק פוחתת במידת מה (כי פנינו רק לחלק מהאוכלוסיה), ולכן לאחר ביצוע דגימה, נשתמש בכלים סטטיסטיים לצורך הערכת מידת השגיאה שבין תוצאות הסקר לבין תוצאות האמת.
אז מהו מדגם מייצג?
בעת ביצוע מדגם עלינו לוודא שכל חלק מהאוכלוסיה (או תת-אוכלוסייה) מיוצג באופן יחסי בהתאם לגודלו באוכלוסיה הכללית. מה הכוונה?
נמחיש זאת בדוגמה פשוטה. נניח ונרצה לדעת איזה אחוז מהאוכלוסיה הכללית בישראל מתאמן בקביעות בהרמת משקולות (בחדר כושר). אם לא נדאג שבמסגרת הדגימה איזון המגדר ישמר (בערך חצי חצי בין נשים לגברים) יש להניח שנקבל תשובות מוטות כלפי מטה (אם יש יצוג יתר לנשים, משום שהן פחות מתאמנות בחדר כושר) או כלפי מעלה (אם יש יצוג יתר לגברים, שבדרך כלל נוהגים להתאמן יותר בחדרי כושר).
באופן דומה יש לדאוג לאיזון הדגימה בפרמטרים אחרים, זאת כמובן כתלות באוכלוסיה ובהקשר (אם הסקר מיועד לאוכלוסית הגברים בלבד, אז מראש נדגום רק גברים, אבל עדיין נצטרך לדאוג לייצוג בפרמטרים אחרים שעשויים להשפיע כמו גיל, אזור מגורים, מצב סוציואקונומי, וכן הלאה).
לפעמים נהוג "לתקן" מדגם מוטה באמצעות משקולות סטטיסטיים. לדוגמה: אם ביצענו דגימה במסגרתה הגענו ל-300 נשים ו-200 גברים (הטיה של 10% לכיוון נשים), אז לתשובות הגברים ניתן משקל של 60% ולתשובות הנשים 40% (וכך כביכול דגמנו 50% נשים ו-50% גברים). בשימוש באופציה זו נדרשת זהירות, משום שלעיתים "תא סטטיסטי" מיוצג על ידי פרטים בודדים, ומשקול לפי פרטים אלו עשוי להגדיל את השגיאה בצורה משמעותית.

 

למה נהוג לדגום 500 איש? איך בוחרים גודל מדגם?

 

כפי שציינו בשאלה הקודמת ("מהו מדגם מייצג"), כאשר אנו משתמשים במדגם, ישנה שגיאה מובנית, מתוקף השימוש במדגם. התקן המחקרי הנהוג הוא להגיע לשגיאה נמוכה מ-4.4%±, ברווח בר סמך של 95% (רווח בר סמך הינו מונח מקצועי. בקצרה המשמעות היא שתוצאות המחקר נמצאות בתחום של 4.4%±, בכל 95 מתוך 100 חזרות על אותו המחקר). כאשר האוכלוסיה גדולה מאוד (מעל כ-30,000 פרטים) נדרשת דגימה (מייצגת) של כ-500 איש.
לשם השוואה, בדגימה של 200 איש בלבד (מתוך אוכלוסיה של 30,000 אנשים) השגיאה הצפויה תעמוד על כ-7%±.
התקן המחקרי הנהוג אינו "תורה מסיני", ולעיתים ניתן (או נדרש) לשנות את גודל המדגם.
לדוגמה אם נדרשת השוואה בין שתי תתי קבוצות בתוך המדגם, שהן יחסית דומות זו לזו, אך משערים שקיים הבדל ביניהן, ייתכן שנצטרך לדגום יותר מ-500 איש (בסה"כ). לחילופין אם ניתן להסתפק ברמת דיוק נמוכה מ-4.4% אז ניתן להסתפק בגודל מדגם קטן יותר.
כמובן שאם גודל האוכלוסיה קטן יותר אז גם ניתן להסתפק במדגם קטן יותר (לדוגמה באוכלוסיה של 1,000 פרטים ניתן להסתפק בדגימה של כ-330 אנשים).
בחירת גודל המדגם היא בחירה שנעשית במסגת תכנון המדגם, וצריך להבין מהיא האוכלוסיה שמעוניינים לייצג במדגם ושיקולים נוספים שצריך לקחת בחשבון.
לעיתים העלויות הנדרשות להגעה למדגם בגודל מסוים מאוד גבוהות, וגם במקרה כזה ניתן להתפשר על גודל המדגם בהתאם לשיקולי עלות-תועלת, ומטרות הסקר.
לצורך התרשמות משגיאה צפויה בהינתן גודל מדגם או לחישוב גודל מדגם בהינתן שגיאה רצויה וגודל אוכלוסיה ניתן להיעזר במחשבון גודל מדגם ובמחשבון מרווח טעות שבאתר.

איך מבצעים דגימה? מהן שיטות הדגימה?

 

ישנן מספר שיטות הנהוגות להפקת מדגם. לא כל שיטה מתאימה לכל מחקר. שיטות הדגימה ההסתברותיות העיקריות הן: מדגם אקראי פשוט (Simple Random Sample), מדגם אשכולות (Clusters), מדגם שכבות (Stratified). נסביר גם על שיטת דגימה לא הסתברותית נוספת: מדגם מוכוון משיבים (Respondent Driven).

מדגם אקראי פשוט

המדגם האקראי הפשוט נפוץ מאוד, פשוט (יחסית) ליישם אותו, והוא מתאים להרבה מחקרים. במסגרת מדגם אקראי פשוט מבצעים דגימה באקראי מתוך האוכלוסיה שמעוניינים ללמוד עליה. לדוגמה: אם אנו מעוניינים ללמוד על אוכלוסית מדינת ישראל, נדגום באקראי מתוך ספר הטלפונים הארצי (נייחים וניידים), ובקרב הציבור הנדגם נבצע הסקר. ישנם מקרים בהם שיטת הדגימה הזו אינה מתאימה, לדוגמה במקרים בהם אנחנו מעוניינים להגיע לתת-אוכלוסיה מסוימת, המהווה נתח קטן יחסית מהאוכלוסיה הכללית, או לחילופין להגיע גם לאוכלוסיה שאינה מיוצגת במסגרת דגימה (רשימה המכילה את האוכלוסייה הנבדקת) נגישה (ספר הטלפונים).

מדגם אשכולות

במדגם אשכולות בוחרים מספר תתי-אוכלוסיות ("אשכולות") המהוות את המדגם. בכל אשכול סוקרים את כל האוכלוסיה השייכת לאותו אשכול. לדוגמה, נגיד ואנחנו מעוניינים לבצע סקר לקוח סמוי בקרב רשתות בתי קפה. במקום לבחור באקראי סניפים בכל הארץ, נבחר מספר אזורים בערים מסוימות בארץ. כל אזור מהווה אשכול דגימה, ובאותו אזור נדגום את כל בתי הקפה שנמצאים בו. יתרון שיטה זו הוא בכך שהיא "חוסכת" טיול בכל הארץ ומאפשרת לדוגמים להתרכז באזורים מסוימים. חסרונה הוא בכך שייתכן שיהיו אשכולות מסוימים שלא יהיו מיוצגים ולא יבואו לידי ביטוי בתוצאות הסקר. יש חשיבות לדגום אשכולות מייצגים.

מדגם שכבות

מדגם שכבות הוא מדגם שבו משתמשים בחלוקת האוכלוסיה לתתי-אוכלוסיות ("שכבות"), ובכל תת-אוכלוסיה מבצעים דגימה. מדגם מעין זה מבטיח ייצוג של כל מגוון תתי האוכלוסיות (ובפרט תת אוכלוסיות קטנות, שייתכן ולא היו מופיעות בדגימה אקראית פשוטה). דוגמה טובה לשימוש במדגם שכבות היא בסקרי בחירות. בסקר בחירות לעיתים אנחנו מעוניינים גם בבעלי דעה השייכים לאוכלוסיות קטנות במיוחד (לדוגמה אם מדובר בסקר עבור המסתמכת על אוכלוסיות מסוימות). במדגם שכבות אנחנו יכולים לדאוג שהאוכלוסיה תיוצג בהתאם לפרופורציה שלה באוכלוסייה הנבדקת. במסגרת מדגם שכבות יש לוודא שהייצוג הכללי אליו מגיעים מתאים לייצוג באוכלוסיה (השכבות בפרופורציות מתאימות) או לתקן באמצעות משקלות מתאימים. לעיתים נרצה לחרוג מדגימה פרופורציונלית, במקרים שבהם יש צורך בהשוואות סטטיסטיות של תת קבוצות קטנות באוכלוסייה שאותן נרצה להגדיל במדגם.

מדגם מוכוון משיבים ("כדור שלג" או "חבר מביא חבר")

בהרבה מקרים ישנו קושי מהותי להגיע לנדבכים מסוימים באוכלוסיה בשיטות דגימה רגילות, לדוגמה: נניח ואנחנו מעוניינים לדגום בני נוער בחטיבות ביניים. אפשרות אחת היא איסוף שטח (לדוגמה במדגם אשכולות), כלומר להגיע לחטיבות ביניים (פיזית), ולפנות לבני נוער בבקשה שישתתפו במחקר. בצורה כזו נוכל להגיע להרבה בני נוער, אבל נצטרך ללכת להרבה חטיבות ביניים בפרישה ארצית, והעלויות הכרוכות באיסוף שכזה גבוהות.

מדגם מוכוון משיבים מאפשר לנו לצמצם את העלויות תוך שימוש בכלי איסוף כגון סקרים טלפוניים. ראשית עלינו להתאמץ כדי לדאוג למספר "קצוות חוט" בפרישה רחבה: מספר מצומצם של בני נוער במקומות שונים בארץ. כל אחד המרואיין במחקר מתבקש להמליץ על חברים נוספים שהוא מכיר, שעונים על קריטריוני הכניסה למחקר (במקרה זה בני נוער בחטיבות ביניים). מדגם מעין זה מאפשר להגיע לאוכלוסית היעד בעלויות נמוכות אך יש לנקוט במשנה זהירות.

צריך לפקח אחר המשתנים השונים של האוכלוסיה ביתר שאת, ולקחת בחשבון שמדגם כזה לא מתאים לכל סוג מחקר. ייתכן שבעצם העובדה שנקטנו בשיטת "חבר מביא חבר" יצרנו הטיה מובנית בסקר (לדוגמה ייתכן שלא הגענו לבני נוער מבודדים חברתית. במחקר החוקר את נושא האובדנות, לדוגמה, לבידוד חברתי יש משמעות, ולכן לא נוכל להשתמש בשיטה זו).

מהו פאנל?

 

פאנל הינו קבוצת נחקרים מוגדרת מראש. המשתתפים בפאנל יכולים להיות מומחים בתחום מסוים, אנשים המייצגים אוכלוסיה בעלת מאפיין מסוים, או אנשים המייצגים אוכלוסיה כללית. לאורך זמן אנו אוספים וצוברים נתונים על אותה קבוצה בפאנל, והדבר מאפשר לעשות מחקרי מעקב (Follow up), ולראות כיצד עמדותיהם משתנים לאורך זמן.
בשנים האחרונות השימוש בפאנלים נעשה נפוץ, בייחוד לאור הגישה הקלה למשתתפי הפאנל דרך מערכת איסוף ברשת האינטרנט ("פאנל אינטרנטי"). ניהול הפאנל כ"רשימת חברים" באינטרנט, ותמרוץ כספי של המשתתפים מאפשר להחזיק רשימה של המשתתפים, כולל נתוני הרקע, ופנייה ממוקדת למשתתפים על פי צרכים של מחקר מסוים (מכיוון שידועים נתוני הרקע של המשתתפים ניתן לפנות ישירות לקבוצות אוכלוסיה שהן קבוצות העניין במסגרת המחקר).
השימוש בפאנל מאפשר להקטין מאוד את העלויות הכרוכות במחקר משום שפונים ישירות לאוכלוסיה הנדרשת, אך יש לנהוג בזהירות כאשר משתמשים בפאנל, ממספר טעמים:
פאנל מטבעו אינו תמיד מייצג את האוכלוסיה הכללית, לדוגמה כאשר מדובר בפאנל אינטרנטי שאינו מייצג אוכלוסיות שאינן מעוניינות בתמריצים הכספיים המוצעות להן (כגון עשירונים גבוהים) או אוכלוסיות שאינן גולשות באינטרנט.
בנוסף ישנן סוגיות הזדהות: בפאנל ההזדהות נעשית באמצעות שם משתמש וסיסמה, וייתכן שממלא הסקר אינו בהכרח האדם הרשום לפאנל (נתוני הרקע מתקבלים על סמך נתוני ההזדהות למערכת).
עם זאת, אימות כהלכה, הקפדה על תאים סטטיסטיים ועל אוכלוסיות העניין, והתייחסות נכונה למשתתפי הפאנל (כדי שלא "לשרוף" את המשתתפים לאורך זמן), עשויה להוות פתרון ראשוני לפני בדיקה בכלים אחרים.
בנוסף ניתן וכדאי לשלב בין מתודולוגיות הדגימה ובכך לאמת ולעבות את הנתונים המתקבלים ממשתתפי הפאנל עם נתונים המתקבלים בכלי דגימה אחרים.

מהו "פיילוט" (בדיקה מקדימה) ובשביל מה צריך בדיקה מקדימה?

 

כאשר בונים שאלון חייבים לבצע בדיקות לפני שמחליטים שהשאלון ראוי להישאל בקרב המרואיינים שעולים בדגימה. הבדיקה המקדימה מבוססת על ראיונות (כ-30 ראיונות) באמצעות השאלון, ולאחריה מריצים פרוצדורות סטטיסטיות שבודקות את המהימנות (עקיבות פנימית של תשובות המרואיינים). אם הנתונים מצביעים על עקיבות פנימית ראויה, ניתן להשתמש בו להמשך הסקר. במידה ואין עקיבות פנימית, מתקנים את השאלון ומבצעים פיילוט נוסף. במהלך הבדיקה המקדימה בנוסף לבדיקת המהימנות גם נהוג לבדוק האם השאלון נהיר וברור למרואיינים (האם יש שאלות מצד המרואיינים שמצביעות על כך שהשאלון אינו ברור).
ויתור על שלב הבדיקה המקדימה עלול להביא למצב שבו אספנו נתונים מהמדגם המלא, ואז מגלים שהשאלון חסר או לא מהימן (ואז צריך לדגום מחדש, או להסתפק בנתונים שאינם מהימנים).

כמה שאלות אפשר לשאול בסקר? (או: מהו אורך שאלון סביר?)

 

אין תשובה אחת לשאלה של מה צריך להיות אורך שאלון. זה כמובן תלוי בסוג השאלון ובאוכלוסיה הנסקרת.
מצד אחד אנחנו מעוניינים לגלות מידע רב ככל האפשר (כלומר שאלון כמה שיותר ארוך, המכסה הרבה נושאים), ומצד שני אם השאלון ארוך מדי, המרואיינים יאבדו את הסבלנות, ינטשו את המחקר או גרוע מכך, יענו תשובות סתמיות כדי "לסיים את הראיון מהר" (ואז נקבל מידע לא אמין). על כן חשוב לקבוע את אורך השאלון בצורה מיטבית (מירב המידע שניתן לקבל כך שהמידע המתקבל יהיה אמין).
בסקרים טלפוניים לאוכלוסייה הכללית, אנו נוהגים להגביל את אורך השאלון לכ-25 שאלות, וזאת כדי לא "להתיש" את הצד השני. לעיתים ניתן לחרוג ממגבלה זאת, והשיטה היא ליצור שאלון שימשוך את הסקרנות והעניין של הצד השני (נושא ושאלות מעניינות יסייעו לכך).
בסקרים בהם האוכלוסייה היא "שבויה" (לדוגמה סקר עובדים) ניתן להאריך את השאלון אף יותר, משום שלאוכלוסיה מראש יש עניין (או לחילופין היא מחויבת) להשיב על השאלון.
כמו כן, גם שיטת האיסוף משפיעה על אורך השאלון (לדוגמה בשיטת איסוף של פנים מול פנים, מקובל להשתמש בשאלונים ארוכים יותר, ואף ביותר שאלות פתוחות – המאריכות את הראיון ונותנות יותר במה לדבריו של המרואיין).
בשורה התחתונה: אורך השאלון צריך להתאים לשיטת האיסוף ולסוג האוכלוסיה הנסקרת. יצירת שאלון מעניין המעוררת את הסקרנות של הצד הנסקר תורמת גם היא לשיתוף הפעולה.

הכותב הינו מנהל מחלקת חקר הביצועים במכון שריד, בעל תואר ראשון במתמטיקה עם סטטיסטיקה וחקר ביצועים מטעם הטכניון, תואר שני בחקר ביצועים וסטטיסטיקה מטעם אוניברסיטת תל אביב, ותלמיד מחקר (דוקטורנט) באוניברסיטת תל אביב במחלקה להנדסת תעשיה. בעל ניסיון עתיר בביצוע מחקרים סטטיסטיים ומחקרי חקר ביצועים.