על המתודולוגיה של מדריך מעל>הממוצע

מאת פרופ' יעקב הורניק

מי שמעוניין להכיר יותר מקרוב את הסוגיות התיאורטיות והמתודולוגיות יימצא אותן במסגרת המהדורה המדעית של המדריך להשכלה גבוהה.

מי שמבקש הסבר יסודי יותר על שיטות המחקר של מעל הממוצע ימצא אותו בסקירה זו.

מקובל להבחין בין שני סוגים עיקריים של נתונים: משניים וראשוניים. נתונים משניים הם נתונים זמינים שנמצאו רלוונטיים למחקר שלנו. נתונים ראשוניים הם נתונים שנאספו במיוחד למטרות המחקר.

הכלי המרכזי במחקר זה הוא הסקר ( Survey ), שהוא שיטת איסוף נתונים ראשוניים באמצעות תשובות לשאלות המתקבלות מתת-קבוצה (מדגם) הנחקרת על נושאים מוגדרים מראש, כדי ללמוד על האוכלוסייה שממנה נבחרה תת הקבוצה. סקר נאות מתבסס על תהליך שיטתי (החל משלב תכנון הסקר וכלה בשלב הניתוח וההסקה) המעוגן בכללים מדעיים ומבוצע בידי אנשי מקצוע. באמצעות הסקר ניתן לעמוד על אפיונים של יחיד, מצב או קבוצה. להגדיר את שכיחותה של תופעה מסוימת ולהצביע על קשר בין תפיסות שונות.

המידע שהתקבל מהמחקר נועד גם להרחיב את הידע העיוני והמושגי של הסוגיות הנחקרות. בתור שכזה, מההיבט המדעי המחקר שלנו לא רק נותן פתרונות עכשוויים-ספציפיים-יומיומיים, אלא מתעמק בסוגיות מדעיות ובמבחן השערות הנגזרות מתיאוריות שונות בתחום.

לצורך הבנת סקירה זו והניתוחים שמופיעים במדריך חשוב להבהיר מספר מושגי מפתח והם: אוכלוסייה, מדגם, פרמטר וסטטיסטי. כפי שראינו, המחקר חייב להסתמך על מספר סטודנטים (ולא כולם) על-מנת להכליל את התוצאות על כל קבוצת הסטודנטים הרלוונטית. קבוצה זו מכונה אוכלוסייה (Population). בגלל אילוצים ברורים כדוגמת זמן, כסף וזמינות, ניתן רק לתחקר חלק מהסטודנטים. תת-קבוצה זו מכונה מדגם (Sample). במחקר אספנו מידע על המדגם, עבדנו את הנתונים ואת התוצאות שהתקבלו מהמדגם הכללנו על הקבוצה כולה (האוכלוסייה). עיקר עניינינו היה להפיק מדדים כמותיים לאפיונים שונים של אוכלוסיית הסטודנטים. מדדים אלה מכונים פרמטרים

(Parameters). מכיוון שהמחקר לא נערך על האוכלוסייה כולה, אלא רק על מדגם לא מחשבים את גודל הפרמטר, אל את אומדן שלו על-פי המדגם. אומדן זה מכונה סטטיסטי (Statistic). נתונים סטטיסטיים שקיבלנו מהמדגם שימשו לצורך הסקה (Inference) של פרמטרים מסוימים לגבי עמדות, העדפות, מחשבות וכו' של אוכלוסיית הסטודנטים.

במקביל, לצורך איסוף מידע משלים ולצורך תיקוף הסקר נאספו גם נתונים בשיטות תצפית ( observation ) ואחרות. בסופו של דבר, הנתונים שנאספו היו בשיטת תמהיל (Mix) של איסוף נתונים הידוע בשם Mixed Mode.

הסקר הפך לשיטה הפופולרית ביותר עקב שיפור ניכר בשני העשורים האחרונים בטכניקות בניית השאלונים (ניסוח השאלות, שכלול השאלות הסגורות והפתוחות, התייחסות לאי-תגובה לשאלה ועוד), פיתוח שיטות סטטיסטיות בתחום בחירת מדגמים, הסקה סטטיסטית, וחשוב תחום הטעות הסטטיסטית הנובעת מבדיקות מדגם במקום בדיקות האוכלוסייה כולה. כל אלה מגבירים את רמת דיוק הנתונים המופקים מסקרים ואת כדאיות השימוש בהם.

לסקרים יש, כמו לכל השיטות לאיסוף נתונים, יתרונות ומגבלות. הרב-גוניות וגמישותו של הסקר, היכולת לאסוף מידע רב ממספר גדול יחסית של נחקרים בפרק זמן קצר, ועוד. מנגד, אנו מודעים למגבלות שיטות המחקר שהשתמשנו כאן. דווקא בגלל המודעות הזו עשינו מאמצים רבים על-מנת להימנע מהן או להתגבר עליהן. בין השאר:

קביעת יעדי המחקר: נקבע שהמחקר אמור לספק מידע לסטודנטים לצורך קבלת החלטות וכן למקבלי החלטות בהשכלה הגבוהה, ולבסוף, נתונים כבסיס למחקרים אקדמיים ומעשיים בתחום.

איסוף נתונים משניים: המחקר מבוסס על ההשקפה, כי יש לבנות אותו בהתאם ליעדי המחקר ועל-פי כללים מדעיים מקובלים. לשם כך, נערכה סקירה ספרותית מקיפה לשם לימוד מתודולוגיות דירוג (כמו Importance-performance, ראה הסבר על שיטת הדירוג); שיטות איסוף נתונים מתקדמות; בחינת הטעויות האפשריות במחקרים כאלה ודרכים לשיפור רמת התוקף והמהימנות של כלי המחקר.

מחקרים מקדימים: על-מנת לבדוק אם הנחקרים מבינים את המושגים במחקר ערכנו מספר מחקרים מקדימים (Pretest) שבו נבחנה בהירות השאלות, יכולת להתמודד עם הכלי, ואפשרויות לענות על השאלות (לשאלות רב-ברירתיות). למשל, ניסוח השאלון הוא לא עניין של מה בכך, לפיכך ערכנו מחקר חלוץ (Pilot study), לפיו הרצנו שאלון טיוטא על מספר סטודנטים ובדקנו באם השאלות הובנו כהלכה.

דגימה: מירב משאלי דעת קהל הארציים בישראל משתמשים במדגמים של 600-500 נפשות. בארה"ב המונה למעלה מ-250 מיליון נפש רוב המחקרים משתמשים במדגמים של 1200 נפש וכבר הוכח שהמדגמים הללו מניבים אומדנים מדויקים לגבי האוכלוסיות כולן.

 

על פי דרישתי הקפדנית ומכיוון שנזקקנו כאן למדגם אקראי של שכבות (Stratified sample) עמדתי על כך שהמדגם יהיה גדול ואמנם, גודלו הוא חסר תקדים (N=5200) ולעתים הביא למציאות יוצאת דופן: למשל, בתכניות קטנות שמספר הסטודנטים לא עלה על 25 עמדתי על כך שגודל המדגם לא יהיה קטן מ-15 נחקרים. כמובן, שתכניות גדולות זכו לייצוג גדול והולם.

מתודולוגית המחקר: במחקר זה השתמשנו במיטב הידע המדעי שפורסם בספרות המדעית. לכן, השאלון מבטא גישה תיאורטית מגובשת שגם נבחנה מההיבט המתודולוגי.במסגרת זו הוקדשה תשומת לב מיוחדת ל שיטות המחקר של דירוגים בחו"ל .

כלי המחקר: מעבר לסקרים השתמשנו גם בשיטות איסוף נתונים אחרות כמו ראיונות עומק ותצפיות. הללו היו לצורך השלמת מידע וכן לצורך תיקוף הסקר. מה שמבדיל מחקר זה מרבים אחרים הוא שיש כאן שימוש הן במחקרים כמותיים והן במחקרים איכותיים (qualitative) ובנוסף בשיטת ה-Mixed Mode, של שימוש בתמהיל של מחקרים.

בדיקות איכות: לאורך כל המחקר הקפדנו על מספר בדיקות איכות כמו: הקפדות בדגימה, בניית השאלון, הדרכת מראיינים למניעת טעויות מראיינים, הקטנת שיעור הבלתי מרואיינים, הקפדה בניסוח והתייחסות לשאלות טעונות.

עיבודים סטטיסטיים: העיבודים נעשו באופן שניתן להפיק מהם דירוגים; כבסיס לקבלת החלטות; יכולת לתקף את הממצאים; וכבסיס למחקרי המשך כולל מחקרים אקדמיים. אי-לכך, הניתוחים הסטטיסטיים כללו עיבודים פשוטים כמו שכיחויות ועיבודים מתקדמים יותר כמו מדדי קשר (קורלציות), ניתוח גורמים (Factor Analysis) והכל, כמובן, תוך הקפדה על רמות המובהקות הסטטיסטיות.

המגמה החשובה ביותר שלי הייתה ליצור כלי מחקר שיהיה תקף ומהימן גם יחד. מחקר טוב הוא אמצעי מדידה המשמש ככלי איסוף נתונים העומדים בקריטריונים של תוקף (Validity) ומהימנות (Reliability). כלי המחקר הוא תקף רק אם הוא מודד את מה שהוא נועד למדוד. לצורך תיקוף המחקר הקפדנו על תוקף התוכן – האם המחקר עומד באמות מידה על ההיגיון המקובל. תוקף מבנה: בדיקה דקדקנית של קשר ברור בין כלי המחקר והתיאוריה שבבסיס המחקר כולו. תוקף מתכנס : השוואות הממצאים שהתקבלו מכלי מחקר אחר תקף.

 

מדידה מהימנה היא מדידה מדויקות. לצורך זה יישמנו מספר שיטות כמו מהימנות כיציבות – באיזו מידה מדידות חוזרות ונישנות, בתנאים שווים, הביאו לתוצאות דומות, מהימנות בין "שופטים", אם חוקרים שונים במחקרים חלקיים שפורסמו על-ידי מוסדות אקדמיים בארץ קיבלו תוצאות דומות.

לשם כל אלה הקפדנו, בין השאר גם לקבל תגובות סטודנטים וכן לפנות לראשי חוגים, דקאנים וראשי אוניברסיטאות ולקבל את תגובתם לממצאים.

מניעת טעויות עיבוד: פעולות הקידוד וההערכה של השאלון מועדות לטעויות אנוש. לשם כך פיקחנו עליהם באמצעות תהליכי אימות בין הנתונים שנאספו לבין קובץ הנתונים שהופיע במחשב.

שמירה על כללי אתיקה: מעבר להקפדה על מדעיות הסקר ושלמותו הקפדנו על מספר כללים אתיים חשובים כמו: שמירה על אלמוניות המשיבים, הקפדה שהשאלות לא תהיינה מעוצבות באופן מגמתי, הקפדה למנוע פעילות מחקרית העלולה לפגוע בפרט או קבוצה כלשהם.

נימה חיובית: הממצאים מנוסחים באופן חיובי. המגמה היא לא ביקורת לשם ביקורת אלא ביקורת בונה ומידע לצורך קבלת החלטות. ברור שאין תכנית או מחלקה אופטימלית, ולכן הנתונים הם יחסיים וגם מחלקה שמדורגת בתחתית הסולם אין הדבר מעיד בהכרח שהיא אינה ראויה. כמו כן, מחקר טוב מספק כמות רבה של מידע. כמות המידע שנאסף כאן עולה בהרבה ממה שתוכנן מראש ואני תקווה שחומר כה עשיר ואיכותי ישמש גם את עמיתיי מהאקדמיה.

לכן, יש לקרוא את החומר בנימה בונה – קל לבקר ולמצוא פגמים, אך מי שמסתכל על המחקר בכללותו ייצא ללא ספק נשכר. זכרו את דברי הפילוסוף:

A pessimist sees the difficulty in every opportunity; an optimist sees the opportunity in every difficulty