הרהורים של אבא

14 Responses to “סקרים, מדעי החברה, סטטיסטיקה”

1. Freidenker הגיב:

   7 בנובמבר 2008 בשעה 18:13

   It is in the nature of the human condition that everybody lies

   כן, אני יודע שהאוס ×–×” רק סדרת טלוויזיה, אבל המשפט הבא נכון לחלוטין. אני מנבא שגם אם תיקח את כל האוכלוסיה המצביעה ותסקור אותה לפני בחירות, אתה תקבל תוצאות לא זהות למה שיהיה בבחירות. עזוב את ×–×” שחלק מהאנשים משקרים לסוקרים וכשאתה מצביע אתה לא יכול לשקר (וזה גם לא משנה אם "שיקרת בלבך" ×›×™ למעשה הצבעת) – אנשים מסוימים לא יצביעו משלל סיבות, הפסיכולוגיה של המצביעים היא מורכבת לעין ערוך מפשטותו של סקר. אנשים משנים את דעותיהם ברגע האחרון, אנשים חולים ולא מגיעים לקלפי, אנשים שמהססים מחליטים ברגע האחרון להתקפל ולהמנע וכן, יכול מאוד להיות שאנשים פשוט משקרים בנוגע למה שהם מצביעים מטעמים סוציאליים ובתוך התא הסגור בקלפי ובהצבעה החשאית, הם מצביעים למי שהם רוצים. הרבה מאוד אנשים תלויים כלכלית, במידה זו או אחרת, במפלגה שלהם, וייתכן שהם לא מאמינים באידיאולוגיה שלה, אך הם שייכים לה בכל זאת. נשכח לרגע את ההצעה הפרועה שייתכן שקולות שנספרים ידנית יכולים להספר באופן שגוי או אפילו גרוע יותר – להיות "מטופלים" ממניעים זרים.

   אני לא אתפלא.

   אני חושב שהתשובה שלך לא הייתה התחכמות, ואני חושב שזה היה מתנשא ויהיר מצידו של האדון לחשוב כך. סטטיסטיקה היא לא מדע אמפירי, היא מתמטיקה, שהוא "מדע ההיפותזות", שאינו עוסק במציאות משום שהוא מכיל תשובות מושלמות, שאינן קיימות במציאות המכילה במקרה הטוב אפרוקסימציות מועילות.

   הואיל והכימות במקרים רבים של הפסיכולוגיה האנושית הוא אפרוקסימציה הבנויה על סטטיסטיקות, אתה לא יכול פשוט לבצע אקסטרפולציה "אלימה" מסקרים מדגמיים (או לא!) למה שיקרה במציאות.

   מה שכן, סקרים כן יכולים לתת אינדיקציה, אבל לדעתי, ה"גורם שגיאה" הוא בעיקר מס-שפתיים, כי שום מדען חברה לא יכול להשתמש אך ורק בסקרים כדי לנבע מה יהיה בבחירות כלשהן, אלא אם כן הסקרים בעצמם משתמשים בתכסיסים לא-סטטיסטיים כדי להגיע לתוצאות מהימנות.

   הגב
2. אוטו פוקוס הגיב:

   8 בנובמבר 2008 בשעה 0:48

   אני לא חושב שתמצא סטטיסטיקאי שיתנגד למה שאמרת, וגם לא חושב שתמצא סטטיסטיקאי שיתיימר לשקף את המציאות ב-100% באמצעות סקר. מקצועם הוא לנסות להתקרב כמה שיותר לניבוי של 100%, ותורתם היא לשקלל כמה שיותר גורמים (כמו השקרנים ומשני דעתם) על מנת לעשות זאת. החוכמה היא מציאת הגורמים הללו ויישומם בניתוח, והדבר אפשרי גם בפריימריז.

   העובדה הפשוטה היא שלרוב (לרוב! לא תמיד), הסקרים מצליחים לנבא תוצאות פריימריז ובחירות ברמת דיוק זו או אחרת. לפעמים הם טועים, לרוב לא. לא תמצא סטטיסטיקאי שיטען אחרת. בבחירות לנשיאות ארה"ב הגיעו הסטטיסטיקאים לרמות דיוק מדהימות, בעיקר בשל כמויות הסקרים האדירות שנערכו שם מדי יום ביומו על ידי מגוון חברות ושיטות. שים לב לאתר הבא, שהיה האורים והתומים שלי במהלך הבחירות האמריקאיות:

   http://www.fivethirtyeight.com/

   לא מדובר באתר שערך סקרים בעצמו, אלא אחד שערך ניתוח סטטיסטי של כלל הסקרים שפורסמו בארה"ב והתעדכן באופן יומי. הוא אמנם לא הצליח לנבא את התוצאות בדיוק של 100%, אבל הגיע מאוד קרוב לכך. הוא לא היה היחיד, כמעט כל הרשתות האמריקאיות המרכזיות ניבאו את הניצחון לאובאמה כפי שאכן התממש במציאות. אם מדפדפים בו אחורנית, ניתן להגיע גם לסקרי הפריימריז, וגם שם הוא הגיע לרמות דיוק מרשימות.

   אני מאמין שגם בפריימריז של "קדימה" היה ניתן להגיע לרמות דיוק גבוהות, אם היו עורכים סקרים רציניים ומעמיקים. העובדה שהניבוי נכשל מעידה, ככל הנראה, על רמת הסקר.

   הגב
   • נדב הגיב:

     8 בנובמבר 2008 בשעה 11:40

     ראשית, לגבי השאלה האם סטטיסטיקאים יסכימו איתי או לא – ברשומה שאני מגיב אליה, יוצא סטטיסטיקאי (שאני מאוד מעריך, אגב) נגד הביקורת על סקרים, שהוא מפרש כביקורת על המתודה הסטטיסטית. מה שניסיתי לטעון ברשומה הזו היא שהביקורת הזו אינה כזו – שהיא אינה מבקרת את הסטטיסטיקה אלא את האופן שבו מדעני החברה משתמשים במסקנותיה.

     לגבי היכולת של סקרים פוליטיים לחזות את המציאות – אני טוען שהיכולת הזו מוגבלת מסיבות עקרוניות, וזו לא שאלה של רמת הרצינות וההעמקה של הסקרים. כמו שאמרתי, יש מקרים שבהם סקרים יכולים לקלוע למציאות – הבחירות בארה"ב הן דוגמא לכך – אבל גם היכולת הזו מוגבלת לשלושת הימים שלפני הבחירות. מה המשמעות של ×–×” שחודשיים לפני הבחירות הסקרים הראו שוויון בין אובאמה למקיין? הרי לנתון ×”×–×” אין שום משמעות מעשית, למעט תוצאות הסקרים. אפילו לא 'אם הבחירות היו נערכות היום, ×”×™×” שוויון' – ×›×™ אם הבחירות היו נערכות באותו יום, כל הדינמיקה הייתה אחרת.
     לגבי סקרי פריימריז – פריימריז מוכרעים על ידי גורמים שונים לחלוטין מאלו שהסוקרים בוחנים. למשל, בפריימריז לא כל כך חשוב התומכים של מי רוצים לבוא לקלפי – חשוב יותר מי ידע לשלוח הסעה לבית שלהם כדי להביא אותם ברגע האמת. איך סקר יכול לשקף נתון ×›×–×” בדיוק?

     הגב
   • Freidenker הגיב:

     8 בנובמבר 2008 בשעה 14:41

     אני מכיר את 5.38, הם עושים מטה-אנליזות של ממצאים סטטיסטיים, זה טריק ישן וטוב כדי להבטיח דיוק מוצלח יותר, ולמעשה, ידוע לי שמשתמשים בו במחקרים כמותניים אחרים (כמו למשל פסיכולוגיה כמותנית)

     אני בטוח שאפשר להגיע לתוצאות מדהימות, אבל שוב, ×–×” באמת תלוי בפירוטכניקה של הסקרים והכי חשוב – בכמות הדגימה. נכון שלא תגיע ל-100 דיוק, אבל אף אחד לא מחפש 100 אחוז דיוק. מה שכן, אם הסטטיסטיקה תהיה יסודית מספיק, להסתמך עליה, לדעתי, זו פסגת האחריות האנושית. אנחנו הרי כולנו יצורים סטטיסטיים שקובעים "מה נכון ומה לא" באמצעות סטטיסטיקה. האחריות הגבוהה ביותר היא של האדם הקובע שמה שנכון הוא לפי המדגם הגדול ביותר.

     אולי בארץ יש פשוט יותר סלופינס בכל מה שנוגע לסטטיסטיקה רחבת היקף. אני נוטה להיות סקפטי למדי כאשר מציגים בפניי סקרים בארץ. אני חושב שהמגמתיות של רבים מהמפרסמים בישראל היא "קונטמינציה" גדולה מדי מכדי להסתמך על "מכון גיאוקרטוגרפיה".

     בקיצור, כל פעם שאני רואה סקר של מעריב שאומר שבדין זה המרכך כביסה הכי טוב, אני אומר לעצמי שאני רוצה דעה שנייה.

     הגב
3. יוסי לוי הגיב:

   8 בנובמבר 2008 בשעה 13:26

   כמה הערות קצרות (תגובה מפורטת יותר תבוא בהמשך):
   1) לא יצאתי להגנת סקרי הפריימריז של קדימה, להיפך, הייתי בין הראשונים לטעון כי היה כאן כשלון מקצועי של שלושת הסוקרים.
   2) אין גם מחלוקת על כך שדרוש שיתוף פעולה הדוק יותר בין אנשי הסטטיסטיקה ואנשי מדעי החברה, וששיתוף פעולה כזה יכול להביא לפיתוח שיטות מחקר שיביאו תוצאות טובות יותר ואמינות יותר.
   3) אני טוען זה זמן רב שהבעיה המרכזית בסקרים הנערכים בישראל היא חוסר האמינות של המשיבים. הכתובת הייתה על הקיר זה זמן רב, ותוצאת סקרי קדימה המחישו את הבעיה (אם כי כבר היו מקרים גרועים יותר של הטיה בתוצאות עקב נסקרים ששיקרו לסוקרים). האם למדעי החברה יש פתרון לכך? סביר להניח שכן, לפחות בתיאוריה. השאלה היא האם ניתן ליישם זאת גם בשטח.
   4) מעניין לראות שבארה"ב הסקרים דווקא חזו את תוצאות הבחירות בצורה מאוד מדוייקת, למרות ששם משתמשים באותה תיאוריה סטטיסטית עצמה. זוהי עוד עדות לכך שהבעיה שעלתה בסקרי קדימה אינה דווקא בסטטיסטיקה.
   5) לסיום – הפתרונות המוצעים על ידי מספר אנשים – לבטל את הסקרים, לאסור אותם, וכדומה, אולי יפתרו את הבעיה של סקרים עם תוצאות לא אמיתיות, אבל לא את הבעיה היותר חמורה של (תת) תרבות אי אמירת אמת, לסוקרים, ולא רק להם.

   הגב
   • נדב הגיב:

     8 בנובמבר 2008 בשעה 15:32

     3+5. אני מסתכל על הדברים בפרספקטיבה אחרת ממך. אני לא חושב שאי האמינות של הנסקרים היא איזושהי בעיה מוסרית. היא סוגייה מעניינת מנקודת המבט של מדעי החברה – למה אנשים בוחרים לשקר לסוקרים – אבל צריך לקבל אותה כעובדה קיימת. זו בעיה מובנית בסקרים, שאי אפשר לעקוף אותה, ולטעמי היא נובעת מהתפקיד שהסקרים ממלאים בציבוריות הישראלית. כל עוד הסקרים הם כלי מרכזי לעיצוב דעת קהל, אנשים ינסו להשפיע על תוצאותיהם.

     4. אני מסכים לחלוטין שהבעיה היא לא בסטטיסטיקה. מבחינתי, בעיה בסטטיסטיקה אומרת שאם נשאל את כל קבוצת הדגימה את השאלה ששאלנו רק את המדגם, נקבל תשובה שונה מהותית – אני מאמין שזה לא יקרה באף סקר רציני.

     הגב
   • יורם גת הגיב:

     10 בנובמבר 2008 בשעה 20:28

     אני מסכים עם נדב בנוגע ל"בעיה החמורה" של אי אמירת אמת. נראה לי שהתופעה הזו לא נובעת מהתדרדרות מוסרית אלא מראייה – מוצדקת במידה רבה – של הסוקרים כמי שמשרתים את האינטרסים של עצמם ולא של הציבור.

     הסקרים, כפי שנעשה בהם שימוש לעיתים מזומנות, הם כלי בידי בעלי האמצעים (כלומר מי שבידו ממון מספיק בשביל להזמין סקר) ובידי בעלי מקצועות מסויימים (הסוקרים עצמם או אנליסטים למיניהם) על מנת לקדם את עצמם – בין אם על ידי איסוף מידע מדוייק או על ידע הצגת מצג שווא של איסוף מידע מדוייק. השאיפה של חלקים בציבור לנטרל את הכלי ×”×–×” היא סבירה לחלוטין.

     הגב
4. דפנה הגיב:

   10 בנובמבר 2008 בשעה 13:38

   מותר לתקן מה שנראה לי כשגיאת כתיב?
   "פטר" במקום "פתר" "את תגובתי כהתחכמות".

   הגב
   • נדב הגיב:

     10 בנובמבר 2008 בשעה 18:37

     מותר, ואפילו רצוי.
     תודה, תוקן

     הגב
5. נסיכת המדעים הגיב:

   16 בנובמבר 2008 בשעה 23:00

   סיכום הדיון בנושא הסקרים…

   רשימה זו מכילה מספר תשובות שנשארתי חייב למגיבים לרשימות הקודמות בנושא, וכמה מילות סיכום משלי….

   הגב
6. שחר הגיב:

   18 בנובמבר 2008 בשעה 10:58

   כבר מזמן רציתי להגב כאן ושכחתי עד שבא פוסט התגובה של יוסי.
   אפשר, אני מעריך, להתווכח על "מדעיותה" של המתמטיקה, אבל לא דרך הטיעון שבחרת. את הטיעון שלך לגבי ממוצע יכולתי להשליך בקלות לתחום שאין ויכוח על היותו מדע – פיזיקה, ולטעון שפיזיקה אינה מדע כיוון שאין ממצא אמפירי שישכנע את הפיזיקאי שמהירות אינה דרך חלקי זמן.

   הגב
   • נדב הגיב:

     18 בנובמבר 2008 בשעה 12:42

     דוגמת הממוצע הייתה סתם דוגמא אקראית. ברור שבכל תחום יש קביעות שאינן אמפיריות; הטענה שלי היא שבמתמטיקה אין אף קביעה אמפירית אחת.

     הגב
     • יוסי לוי הגיב:

       18 בנובמבר 2008 בשעה 13:04

       תחשוב למשל על משולש: האם סכום זויותיו הוא 180 מעלות או לא? אם תשרטט משולש על האדמה (או יותר נכון, על פני כדור), תגלה שסכום זויותיו גדול מ-180 מעלות. מה זה אומר?

       הגב
       • נדב הגיב:

         18 בנובמבר 2008 בשעה 16:44

         זה אומר שהוא לא משולש (כי הוא לא משורטט על מישור).

         הגב