סקרים, מדעי החברה, סטטיסטיקה

נדב

בעקבות הפער בין הסקרים לבין תוצאות האמת בפריימריז בקדימה, נשמעו התקפות רבות על האמינות והיעילות של סקרים פוליטיים בכלל וסקרי פריימריז בפרט. בתגובה, יצא יוסי לוי להגנת הסקרים והסטטיסטיקה. ניסיתי לכתוב לו תגובה, שכנראה לא הובנה, ולכן אנסה להסביר כאן בדיוק מה הבעיה שלי עם סקרים פוליטיים.

יוסי אומר:

הכשל של פרופ' הרמן הוא כל כך בסיסי עד שקשה להבין אותו בקריאה ראשונה. היא לא מבדילה בין מדע ליישום של מדע (אולי בגלל שהדיסציפלינה שלה היא לא ממש יישומית). סקרים הם יישום של מדע שנקרא סטטיסטיקה, כמו שמכונית היא יישום של מדע הפיזיקה. כאשר נעשה שימוש לא נכון במכונית, קורים דברים לא נעימים, אפילו מקרי מוות. האם המכוניות אינן עומדות בקריטריונים מדעיים? באיזה קריטריונים מדעיים המכונית צריכה לעמוד, אם בכלל? האם צריך לאסור את השימוש במכוניות?

(חלק מ)תגובתי ליוסי היה:

סטטיסטיקה, כמו כל ענפי המתמטיקה, אינה מדע, ולו בגלל שאין בה שביב של אמפיריות. האם יש איזשהו ממצא אמפירי שישכנע אותך שבעצם, הממוצע הוא לא סכום כל האיברים חלקי מספרם?
סקרים הם מתודה שמשתמשת באמצעים מתמטיים לצרכים של מדעי החברה.

יוסי פטר את תגובתי כהתחכמות. לא התכוונתי להתחכם, ואני חושב שיש בה יותר מהתחכמות – אלא שכנראה לא הסברתי את כוונתי כראוי.

כדי להבין את הבעייתיות, צריך לפרק את הסקר למרכיביו. מה בעצם עושים בסקר? שואלים כמה מאות אנשים, שנדגמו בדרך כלל בצורה אקראית מתוך רשימה שאמורה להכיל את כל הבוחרים, 'עבור מי תצביע בבחירות?'. מתשובתם של הנשאלים מתיימרים הסוקרים לדעת מה היו תוצאות הבחירות אם היו מתקיימות היום, ובמשתמע – מה יהיו תוצאות הבחירות כאשר הן יערכו (×›×™ השאלה 'מה ×”×™×” קורה אם הבחירות היו נערכות היום' לא באמת מעניינת אף אחד).

התהליך ×”×–×” מורכב מחלק סטטיסטי וחלק של מדעי החברה. החלק הסטטיסטי הוא החלק שבו אנו מחליטים שאם 500 נשאלים ענו לשאלה בהתפלגות מסויימת של תשובות, יש סיכוי של 95% שכל הרשימה תתפלג בתשובותיה בדיוק באותה צורה (בתיקון טעות הדגימה) – אם תשאל באותה צורה. קרי, המסקנה הסטטיסטית שאפשר להסיק מהסקר היא שאם נשלח סטודנטים צעירים להתקשר לכל הרשימה שלנו בשעות הערב המוקדמות, התשובות יתפלגו בצורה מאוד דומה לתשובות שקיבלנו בסקר.

כאן הסטטיסטיקה מסיימת את תפקידה, ולא נראה לי שיש מי שמערער על איכות התפקוד שלה. הבעיה מתחילה בשלב הבא, שהוא כבר השלב של מדעי החברה. בשלב ×›×–×” צריך הסוקר לבצע עבודה שאין בה שום היבט סטטיסטי – להסיק שמכך שהרשימה המסויימת הזו תענה בהתפלגות המסויימת הזו מסקנות חשובות. והבעיה היא שהמחשבה הנאיבית, לפיה כל מי שאמר 'אני מצביע ליכוד' אכן ישים מחל בקלפי, פשוט לא נכונה. לאנשים יש מגוון רחב של סיבות שבשלן הן עונים בסקר תשובה אחת ובקלפי תשובה אחרת, ובניגוד לדיון המקובל – רובן לא קשורות לרמאות. נכון, חלק משקרים ×›×™ הם באופן עקרוני משקרים לסוקרים. חלק משקרים מסיבות טקטיות (אני אגיד שאני מצביע לעלה ירוק, כדי שכולם יחשבו שהם עוברים את אחוז החסימה, יצביעו להם ואני אוכל להוציא את הקול שלי על משהו אחר). חלק משנים את דעתם מסיבות כאלה או אחרות. רבים מגיעים לקלפי בהחלטה להצביע א' ובסופו של דבר מצביעים ב' – בין השאר בגלל שהצבעה רחוקה מלהיות אקט רציונלי.

האתגר של סוקר הוא לא ההיבט הסטטיסטי. בלי לזלזל במורכבות של המתודות הסטטיסטיות הנדרשות לצורך עריכת סקר, הן כל כך מתוחכמות וכל כך מובנות שכל מה שהסוקר צריך לעשות זה להזין את הנתונים לתוכנה הסטטיסטית שלו ולקבל תשובות. האתגר הוא לשקלל את כל הנתונים שהובאו לעיל לכדי תשובה משכנעת לשאלה 'מה יהיו תוצאות הבחירות'.

יש סיטואציות שבהן קל יחסית לעשות את ×–×”. ככל שהקהל יותר רחב, יותר הומוגני, פחות מעורב רגשית בבחירות וככל שהסקרים משמעותיים פחות – כך הסקרים יהפכו להיות אמינים יותר. אבל יש סיטואציות שבהן ידוע שסקרים הם חסרי כל ערך, ופריימריז היא אולי הסיטואציה הידועה מכולן.

והערה לגבי הזמן – כמו שאמרתי, את אף אחד לא מעניינת השאלה 'מה ×”×™×” קורה אילו הבחירות היו מתקיימות היום'. לכן, סקרים שנערכים חודשים לפני בחירות, ויותר מכך – סקרים שנערכים כשאין בחירות באופק, הם פשוט מידע חסר ערך. לא מאמינים לי? חפשו מה היו תוצאות הסקרים שלושה חודשים לפני הבחירות האחרונות. תגלו שאולמרט עמד בראש מפלגה של 46-48 מנדטים. מה אומר הנתון ×”×–×” בדיעבד? איזו משמעות יש לו? הרי ברור שתוצאות הסקרים שאנו רואים עכשיו רחוקות ממה שנראה בבחירות עצמן. אז למה טובים הסקרים שנערכים עכשיו?

14 תגובות »

נדב ב7/11/2008 16:17 תחת חברה בישראל

14 Responses to “סקרים, מדעי החברה, סטטיסטיקה”

  1. Freidenker הגיב:

    It is in the nature of the human condition that everybody lies

    כן, אני יודע שהאוס ×–×” רק סדרת טלוויזיה, אבל המשפט הבא נכון לחלוטין. אני מנבא שגם אם תיקח את כל האוכלוסיה המצביעה ותסקור אותה לפני בחירות, אתה תקבל תוצאות לא זהות למה שיהיה בבחירות. עזוב את ×–×” שחלק מהאנשים משקרים לסוקרים וכשאתה מצביע אתה לא יכול לשקר (וזה גם לא משנה אם "שיקרת בלבך" ×›×™ למעשה הצבעת) – אנשים מסוימים לא יצביעו משלל סיבות, הפסיכולוגיה של המצביעים היא מורכבת לעין ערוך מפשטותו של סקר. אנשים משנים את דעותיהם ברגע האחרון, אנשים חולים ולא מגיעים לקלפי, אנשים שמהססים מחליטים ברגע האחרון להתקפל ולהמנע וכן, יכול מאוד להיות שאנשים פשוט משקרים בנוגע למה שהם מצביעים מטעמים סוציאליים ובתוך התא הסגור בקלפי ובהצבעה החשאית, הם מצביעים למי שהם רוצים. הרבה מאוד אנשים תלויים כלכלית, במידה זו או אחרת, במפלגה שלהם, וייתכן שהם לא מאמינים באידיאולוגיה שלה, אך הם שייכים לה בכל זאת. נשכח לרגע את ההצעה הפרועה שייתכן שקולות שנספרים ידנית יכולים להספר באופן שגוי או אפילו גרוע יותר – להיות "מטופלים" ממניעים זרים.

    אני לא אתפלא.

    אני חושב שהתשובה שלך לא הייתה התחכמות, ואני חושב שזה היה מתנשא ויהיר מצידו של האדון לחשוב כך. סטטיסטיקה היא לא מדע אמפירי, היא מתמטיקה, שהוא "מדע ההיפותזות", שאינו עוסק במציאות משום שהוא מכיל תשובות מושלמות, שאינן קיימות במציאות המכילה במקרה הטוב אפרוקסימציות מועילות.

    הואיל והכימות במקרים רבים של הפסיכולוגיה האנושית הוא אפרוקסימציה הבנויה על סטטיסטיקות, אתה לא יכול פשוט לבצע אקסטרפולציה "אלימה" מסקרים מדגמיים (או לא!) למה שיקרה במציאות.

    מה שכן, סקרים כן יכולים לתת אינדיקציה, אבל לדעתי, ה"גורם שגיאה" הוא בעיקר מס-שפתיים, כי שום מדען חברה לא יכול להשתמש אך ורק בסקרים כדי לנבע מה יהיה בבחירות כלשהן, אלא אם כן הסקרים בעצמם משתמשים בתכסיסים לא-סטטיסטיים כדי להגיע לתוצאות מהימנות.

  2. אני לא חושב שתמצא סטטיסטיקאי שיתנגד למה שאמרת, וגם לא חושב שתמצא סטטיסטיקאי שיתיימר לשקף את המציאות ב-100% באמצעות סקר. מקצועם הוא לנסות להתקרב כמה שיותר לניבוי של 100%, ותורתם היא לשקלל כמה שיותר גורמים (כמו השקרנים ומשני דעתם) על מנת לעשות זאת. החוכמה היא מציאת הגורמים הללו ויישומם בניתוח, והדבר אפשרי גם בפריימריז.

    העובדה הפשוטה היא שלרוב (לרוב! לא תמיד), הסקרים מצליחים לנבא תוצאות פריימריז ובחירות ברמת דיוק זו או אחרת. לפעמים הם טועים, לרוב לא. לא תמצא סטטיסטיקאי שיטען אחרת. בבחירות לנשיאות ארה"ב הגיעו הסטטיסטיקאים לרמות דיוק מדהימות, בעיקר בשל כמויות הסקרים האדירות שנערכו שם מדי יום ביומו על ידי מגוון חברות ושיטות. שים לב לאתר הבא, שהיה האורים והתומים שלי במהלך הבחירות האמריקאיות:

    http://www.fivethirtyeight.com/

    לא מדובר באתר שערך סקרים בעצמו, אלא אחד שערך ניתוח סטטיסטי של כלל הסקרים שפורסמו בארה"ב והתעדכן באופן יומי. הוא אמנם לא הצליח לנבא את התוצאות בדיוק של 100%, אבל הגיע מאוד קרוב לכך. הוא לא היה היחיד, כמעט כל הרשתות האמריקאיות המרכזיות ניבאו את הניצחון לאובאמה כפי שאכן התממש במציאות. אם מדפדפים בו אחורנית, ניתן להגיע גם לסקרי הפריימריז, וגם שם הוא הגיע לרמות דיוק מרשימות.

    אני מאמין שגם בפריימריז של "קדימה" היה ניתן להגיע לרמות דיוק גבוהות, אם היו עורכים סקרים רציניים ומעמיקים. העובדה שהניבוי נכשל מעידה, ככל הנראה, על רמת הסקר.

    • נדב הגיב:

      ראשית, לגבי השאלה האם סטטיסטיקאים יסכימו איתי או לא – ברשומה שאני מגיב אליה, יוצא סטטיסטיקאי (שאני מאוד מעריך, אגב) נגד הביקורת על סקרים, שהוא מפרש כביקורת על המתודה הסטטיסטית. מה שניסיתי לטעון ברשומה הזו היא שהביקורת הזו אינה כזו – שהיא אינה מבקרת את הסטטיסטיקה אלא את האופן שבו מדעני החברה משתמשים במסקנותיה.

      לגבי היכולת של סקרים פוליטיים לחזות את המציאות – אני טוען שהיכולת הזו מוגבלת מסיבות עקרוניות, וזו לא שאלה של רמת הרצינות וההעמקה של הסקרים. כמו שאמרתי, יש מקרים שבהם סקרים יכולים לקלוע למציאות – הבחירות בארה"ב הן דוגמא לכך – אבל גם היכולת הזו מוגבלת לשלושת הימים שלפני הבחירות. מה המשמעות של ×–×” שחודשיים לפני הבחירות הסקרים הראו שוויון בין אובאמה למקיין? הרי לנתון ×”×–×” אין שום משמעות מעשית, למעט תוצאות הסקרים. אפילו לא 'אם הבחירות היו נערכות היום, ×”×™×” שוויון' – ×›×™ אם הבחירות היו נערכות באותו יום, כל הדינמיקה הייתה אחרת.
      לגבי סקרי פריימריז – פריימריז מוכרעים על ידי גורמים שונים לחלוטין מאלו שהסוקרים בוחנים. למשל, בפריימריז לא כל כך חשוב התומכים של מי רוצים לבוא לקלפי – חשוב יותר מי ידע לשלוח הסעה לבית שלהם כדי להביא אותם ברגע האמת. איך סקר יכול לשקף נתון ×›×–×” בדיוק?

    • Freidenker הגיב:

      אני מכיר את 5.38, הם עושים מטה-אנליזות של ממצאים סטטיסטיים, זה טריק ישן וטוב כדי להבטיח דיוק מוצלח יותר, ולמעשה, ידוע לי שמשתמשים בו במחקרים כמותניים אחרים (כמו למשל פסיכולוגיה כמותנית)

      אני בטוח שאפשר להגיע לתוצאות מדהימות, אבל שוב, ×–×” באמת תלוי בפירוטכניקה של הסקרים והכי חשוב – בכמות הדגימה. נכון שלא תגיע ל-100 דיוק, אבל אף אחד לא מחפש 100 אחוז דיוק. מה שכן, אם הסטטיסטיקה תהיה יסודית מספיק, להסתמך עליה, לדעתי, זו פסגת האחריות האנושית. אנחנו הרי כולנו יצורים סטטיסטיים שקובעים "מה נכון ומה לא" באמצעות סטטיסטיקה. האחריות הגבוהה ביותר היא של האדם הקובע שמה שנכון הוא לפי המדגם הגדול ביותר.

      אולי בארץ יש פשוט יותר סלופינס בכל מה שנוגע לסטטיסטיקה רחבת היקף. אני נוטה להיות סקפטי למדי כאשר מציגים בפניי סקרים בארץ. אני חושב שהמגמתיות של רבים מהמפרסמים בישראל היא "קונטמינציה" גדולה מדי מכדי להסתמך על "מכון גיאוקרטוגרפיה".

      בקיצור, כל פעם שאני רואה סקר של מעריב שאומר שבדין זה המרכך כביסה הכי טוב, אני אומר לעצמי שאני רוצה דעה שנייה.

  3. כמה הערות קצרות (תגובה מפורטת יותר תבוא בהמשך):
    1) לא יצאתי להגנת סקרי הפריימריז של קדימה, להיפך, הייתי בין הראשונים לטעון כי היה כאן כשלון מקצועי של שלושת הסוקרים.
    2) אין גם מחלוקת על כך שדרוש שיתוף פעולה הדוק יותר בין אנשי הסטטיסטיקה ואנשי מדעי החברה, וששיתוף פעולה כזה יכול להביא לפיתוח שיטות מחקר שיביאו תוצאות טובות יותר ואמינות יותר.
    3) אני טוען זה זמן רב שהבעיה המרכזית בסקרים הנערכים בישראל היא חוסר האמינות של המשיבים. הכתובת הייתה על הקיר זה זמן רב, ותוצאת סקרי קדימה המחישו את הבעיה (אם כי כבר היו מקרים גרועים יותר של הטיה בתוצאות עקב נסקרים ששיקרו לסוקרים). האם למדעי החברה יש פתרון לכך? סביר להניח שכן, לפחות בתיאוריה. השאלה היא האם ניתן ליישם זאת גם בשטח.
    4) מעניין לראות שבארה"ב הסקרים דווקא חזו את תוצאות הבחירות בצורה מאוד מדוייקת, למרות ששם משתמשים באותה תיאוריה סטטיסטית עצמה. זוהי עוד עדות לכך שהבעיה שעלתה בסקרי קדימה אינה דווקא בסטטיסטיקה.
    5) לסיום – הפתרונות המוצעים על ידי מספר אנשים – לבטל את הסקרים, לאסור אותם, וכדומה, אולי יפתרו את הבעיה של סקרים עם תוצאות לא אמיתיות, אבל לא את הבעיה היותר חמורה של (תת) תרבות אי אמירת אמת, לסוקרים, ולא רק להם.

    • נדב הגיב:

      3+5. אני מסתכל על הדברים בפרספקטיבה אחרת ממך. אני לא חושב שאי האמינות של הנסקרים היא איזושהי בעיה מוסרית. היא סוגייה מעניינת מנקודת המבט של מדעי החברה – למה אנשים בוחרים לשקר לסוקרים – אבל צריך לקבל אותה כעובדה קיימת. זו בעיה מובנית בסקרים, שאי אפשר לעקוף אותה, ולטעמי היא נובעת מהתפקיד שהסקרים ממלאים בציבוריות הישראלית. כל עוד הסקרים הם כלי מרכזי לעיצוב דעת קהל, אנשים ינסו להשפיע על תוצאותיהם.

      4. אני מסכים לחלוטין שהבעיה היא לא בסטטיסטיקה. מבחינתי, בעיה בסטטיסטיקה אומרת שאם נשאל את כל קבוצת הדגימה את השאלה ששאלנו רק את המדגם, נקבל תשובה שונה מהותית – אני מאמין שזה לא יקרה באף סקר רציני.

    • אני מסכים עם נדב בנוגע ל"בעיה החמורה" של אי אמירת אמת. נראה לי שהתופעה הזו לא נובעת מהתדרדרות מוסרית אלא מראייה – מוצדקת במידה רבה – של הסוקרים כמי שמשרתים את האינטרסים של עצמם ולא של הציבור.

      הסקרים, כפי שנעשה בהם שימוש לעיתים מזומנות, הם כלי בידי בעלי האמצעים (כלומר מי שבידו ממון מספיק בשביל להזמין סקר) ובידי בעלי מקצועות מסויימים (הסוקרים עצמם או אנליסטים למיניהם) על מנת לקדם את עצמם – בין אם על ידי איסוף מידע מדוייק או על ידע הצגת מצג שווא של איסוף מידע מדוייק. השאיפה של חלקים בציבור לנטרל את הכלי ×”×–×” היא סבירה לחלוטין.

  4. דפנה הגיב:

    מותר לתקן מה שנראה לי כשגיאת כתיב?
    "פטר" במקום "פתר" "את תגובתי כהתחכמות".

  5. סיכום הדיון בנושא הסקרים…

    רשימה זו מכילה מספר תשובות שנשארתי חייב למגיבים לרשימות הקודמות בנושא, וכמה מילות סיכום משלי….

  6. שחר הגיב:

    כבר מזמן רציתי להגב כאן ושכחתי עד שבא פוסט התגובה של יוסי.
    אפשר, אני מעריך, להתווכח על "מדעיותה" של המתמטיקה, אבל לא דרך הטיעון שבחרת. את הטיעון שלך לגבי ממוצע יכולתי להשליך בקלות לתחום שאין ויכוח על היותו מדע – פיזיקה, ולטעון שפיזיקה אינה מדע כיוון שאין ממצא אמפירי שישכנע את הפיזיקאי שמהירות אינה דרך חלקי זמן.

    • נדב הגיב:

      דוגמת הממוצע הייתה סתם דוגמא אקראית. ברור שבכל תחום יש קביעות שאינן אמפיריות; הטענה שלי היא שבמתמטיקה אין אף קביעה אמפירית אחת.

      • תחשוב למשל על משולש: האם סכום זויותיו הוא 180 מעלות או לא? אם תשרטט משולש על האדמה (או יותר נכון, על פני כדור), תגלה שסכום זויותיו גדול מ-180 מעלות. מה ×–×” אומר?

להגיב על נדב לבטל

האימייל לא יוצג באתר. שדות החובה מסומנים *

971734 דפים נצפים, 64 היום
319278 ביקורים, 52 היום
FireStats icon ‏מריץ FireStats‏