מאת: מיכאל שטאל, מנהל בחינות ITCB.
פורסם לראשונה ב2016, עודכן באוקטובר 2022.
על מנת להתכונן לבחינת ההסמכה, טוב קודם כל להבין את מבנה הבחינה.
על מנת להבטיח עקביות והגינות, הארגון הבינלאומי להסמכת בודקי תוכנה (®ISTQB) פיתח מבנה בחינה קפדני וכן קווים מנחים לפיתוח שאלות הבחינה אשר אומצו ע"י כל הסניפים ומרכזי הבחינות הלאומיים. הבחינה כוללת 40 שאלות רב-ברירה (אמריקאיות), אורך הבחינה נקבע ל-60 דקות והיא תוכננה כך שניתן יהיה להעריך את הידע וההבנה של הנבחנ/ת לגבי נושאי הבחינה (כמפורט בתוכנית הלימוד). ניתן להיבחן בשפות: עברית ואנגלית.
הנבחנים נדרשים להשיג ציון של 65% ומעלה על מנת לעבור בהצלחה את הבחינה. הנושאים הקיימים בתוכנית הלימוד חולקו לפי מטרות הלימוד, תוך קביעת רמת הידע שחובה על המועמד/ת להציג. שלוש רמות הידע הן כדלהלן:
ארגון ®ISTQB קבע את חלוקת השאלות בבחינה באופן הבא:
באמצעות המבנה הנ"ל ®ISTQB והסניפים הלאומיים יכולים למדוד את יכולתו של הבודק/ת אל מול בסיס של תקן מקצועי אחיד.
אחת המטרות המוצהרות של ®ISTQB היא לייצר מערכת מושגים אחת המקובלת ומובנת על כל העוסקים בתחום. לכן, חלק ממה שכלול בתוכנית הלימודים הם הגדרות והסברים של מושגים. כתוצאה מכך, חלק מהשאלות במבחן הן על... הגדרות והסברים של מושגים.
שמעתי לא מעט טענות נגד זה: מה חשוב כל כך לדעת מה כל מושג אומר? למה אני צריך לזכור את זה בעל-פה?
לגבי החשיבות של מערכת מושגים מקובלת וידועה, אני מציע שתשאלו את אנשי בבל מה דעתם על היעילות של ארגון שבו קבוצות שונות קוראות לאותו דבר בשם אחר. קרה לי כבר מספיק פעמים שהשתתפתי בישיבות שבהן שני אנשים דיברו על Test Plans ולקח זמן רב להבין שהם לא מדברים על אותו דבר... ולגבי זכירה בעל-פה: נכון שזה נשמע קצת מיושן לזכור הגדרות של מושגים, כי הרי יש היום את Google אז לא צריך לזכור כלום; מצד שני, קשה לנהל דיון אינטליגנטי אם בן שיחך פותח מילון כל רגע.
אז כן: לטעמנו, על מומחה בתחום להכיר את המובן של מושגי היסוד ואת סדר הדברים הנכון של תהליכים מקובלים.
למה אני מזכיר את זה בהקשר של המבחן? כי מבנה המבחן מושפע מהגישה של הסילבוס, והבנה של הגישה מקילה על הבנת המבחן ועוזרת בהכנה אליו.
תוכניות הלימוד של ®ISTQB מגדירות "מטרות לימוד" (Learning Objectives – LO). לכל מטרת לימוד מוגדר רמת הידע הנדרשת עבור מטרת הלימוד. ההגדרות של רמות הידע נקבעו על פי הטקסונומיה של בלום: "הטקסונומיה של בלום (באנגלית: Bloom's taxonomy) היא כלי לסיווג מטלות למידה על פי רמת החשיבה שלהם. היא בנויה משש רמות חשיבה באופן מדרגי מהפשוט אל המורכב, כך שהשגת רמה קוגניטיבית בשלב גבוה, מותנית בהשגת רמות קודמות לה" (ויקיפדיה). רמות הידע מסומנות ב K1 (רמת הידע הנמוכה ביותר) ל – לK6 (רמת הידע הגבוהה ביותר). רמות הידע הנדרשות בהסמכה הבסיסית נעות בין רמת K1 ל – K3 . לכל מטרת לימוד הוגדרה רמת ידע נדרשת; כלומר, בחלק ממטרות הלימוד יש דרישה לרמת ידע של K1, לחלק רמת ידע של K2, ולחלק רמה של K3.
שאלות K1 פשוט דורשות להוכיח שאתם זוכרים את החומר. בדרך כלל זה אומר שהתשובה לשאלה כתובה (במדויק או קרוב לכך) בסילבוס. שימו לב שאמרתי "בדרך כלל" ו"קרוב לכך". לפעמים זה ציטוט מדויק, ולפעמים זה ציטוט חלקי או אמירת אותו דבר רק במילים אחרות.
זה אומר שכדי לענות בהצלחה על שאלות K1 צריך לזכור חומר.
למרות שכביכול יש כאן זכירה מטומטמת של מושגים, זה לא ממש ככה. אם למדתם את החומר כראוי, הרי שרוב המושגים הם הגיוניים, כך שמתוך הבנת משמעות המושג (ידע!), תוכלו לבחור את המשפט שמתאר אותו נכונה (בכלל – המון מהחומר בתחום הבדיקות יושב יפה תחת ההגדרה של "הגיון בריא"). ובכל זאת: זיכרון טוב יעזור כאן, ומי שמתקשה לזכור, טוב יעשה אם יחזור על החומר מספר פעמים.
בראש כל תת-פרק בחומר הלימוד מופיעה רשימה של "מונחים" (terms). ההגדרה הרשמית של מונחים אלה מופיעה שקיים גם באנגלית וגם בעברית. מילון המונחים באנגלית קיים גם כאפליקציית רשת, וכאפליקציה לנייד לאנדרואיד ול- iOS. שימו לב שהמילון ברשת ובנייד מכיל מונחים לכל תוכניות הלימודים של ®ISTQB – גם אלה המתקדמות. על כל מונח כתוב לאיזה תוכניות לימודים הוא רלונטי, ובאיזה מהן המונח מוגדר כ"מילת מפתח" (keyword) שאפשר לבחון עליה.
על הנבחן לזכור את ההגדרה של המונחים. שאלות על משמעות מונחים גם הן מוגדרות כשאלות מסוג K1, אז כדאי לעבור על ההגדרות. גם כאן – ברוב המכריע של המקרים, שם המונח, יחד עם הידע שרכשתם במסגרת הקורס וההכנה לבחינה, עוזרים לידיעת התשובה הנכונה גם ללא שינון בעל פה של הגדרות. בנוסף, יש ציפייה שאפשר להשתמש במונחים אלה בשאלות על מטרות לימוד, כיוון שהמועמדים מכירים ומבינים את המונחים.
20% משאלות הבחינה הם ברמה של K1 (8 שאלות). אחת מתוכן היא על מונח כלשהוא, והשאר על מטרות לימוד. זה אומר שחזרה טובה על הגדרות של מושגים נותנת לכם כבר נקודת התחלה טובה לעבור את הבחינה. הבנת החומר לעומק עוזרת לזכירת משמעות המושגים ללא צורך בזכירה בעל פה. מעבר לכך, לא באמת דורשים מכם לדעת את החומר בעל-פה, כי המבחן מורכב משאלות בחירה. כלומר, הטקסט ניתן לכם. אתם רק צריכים לזהות איזה הוא הטקסט הנכון בהקשר של השאלה.
רוב השאלות במבחן (60%; 24 שאלות) הן ברמה של K2. אלה שאלות שבוחנות הבנה של מושגים. כלומר, לא רק ציטוט בעל פה אלא גם יכולת לדעת מתי מושג מסוים הוא רלוונטי ומתי לא, או יכולת להבחין שתיאור מסוים של מושג, מצב או תהליך, הוא שווה ערך לחומר המופיע בסילבוס. כאן יעזור בעיקר לימוד עוד חומר (ספרים; קורסים) שירחיבו הרבה מעל מה שכתוב בתוכנית הלימודים (הסילבוס). צריך לזכור שהסילבוס הוא בהגדרה חומר מתומצת ביותר, שמטרתו להגדיר את הגבולות של החומר שמוגדר כבסיס (foundation) של התחום. הסילבוס לא מתיימר להיות ספר לימוד ועל כן הוא לא "קריאה קלה". בשביל זה יש לא מעט ספרים, אם כי רובם הגדול כתובים באנגלית. יש שני ספרים בעברית, שאת שניהם לא קראתי ואיני יודע כמה הם צמודים לתוכנית הלימודים (גם מבחינת חומר וגם מבחינת הגדרות).
אבל בינינו: בודק צריך לדעת אנגלית טוב, וקריאת ספר מקצועי לא תזיק לכם. ראו בהמשך רשימת ספרים מומלצים (הרשימה כוללת קישורים לאמזון וכו' – וכוללת גם את פרטי שני הספרים בעברית שהזכרתי כאן).
שאלות ברמה של K3 הן שאלות שבהן הנבחן צריך להוכיח יכולת שימוש בחומר הנלמד. עקרונית, דרישה לידיעה ברמה של K3 היא גבוהה יותר מ-K2, אבל דווקא שאלות אלה לעיתים פשוטות יותר. הסיבה היא שלא דורשים מכם לממש משהו – אלא רק לבחור מבין ארבעה מימושים נתונים מי הוא הנכון. למשל, בחירה של ערכי קיצון למקרה מסוים. אם אתם מבינים את משמעות המושג ערכי קיצון ויודעים לזהות אותם, כל מה שנדרש זה למצוא את התשובה שבה יש את הרשימה הנכונה. שאלות קשות יותר מציגות מצב ושואלות משהו על הבדיקות הנדרשות. למשל: כמה מקרי בדיקה יתקבלו אם התבקשת להשתמש בטכניקת עיצוב בדיקות מסוימת. ארבע התשובות האפשריות יהיו במקרה כזה פשוט ארבע מספרים. בשאלה כזו תצטרכו ממש להשתמש בידע שלמדתם – לרשום לעצמכם על דף טיוטה (או על דף הבחינה - מותר לקשקש עליו) את הבדיקות המתאימות; אולי לשרטט טבלת החלטה או דיאגרמת מעברים... ולספור. ההכנה לבחינה לשאלות אלה היא בעיקר על ידי מעבר על שאלות דוגמה, וכן על ידי תרגילים בארבע טכניקות עיצוב הבדיקות שבפרק 4 (חלוקה למחלקות שקילות, ניתוח ערכי גבול, בדיקות טבלת החלטה, בדיקות החלף מצבים). אפשר למצוא חומר תרגול בספר של לי קופלנד (מופיע ברשימת הספרים המומלצים בהמשך) ואני מניח שגם באינטרנט (לא חיפשתי).
דוגמה אחרת היא הדרישה שנבחנים ידעו לכתוב דו"ח פגמים (bug report). גם כאן לא תדרשו לכתוב כלום – אלא לבחור איזה מארבע דוחו"ת הוא הטוב ביותר. כתיבת דוחו"ת פגמים (bug reports) בעבודה היום יומית תוך העזרות בחומר הנלמד על מנת שלא לשכוח פרטים נדרשים, תעזור להפנים איך לכתוב נכון דו"ח כזה.
סוג נוסף של שאלות K3 הן אלה המתייחס לרמת כיסוי של קוד. ברוב השאלות האלה ניתן קטע קוד קצר ומקרי בדיקה, והשאלה היא איזה רמת כיסוי הושגה. זה אומר שיש ציפייה שתדעו לקרוא קוד. השאלות לא כתובות בשפת תכנות מסויימת אלא בסגנון שקרוי "פסבדו קוד" (pseudo code). כלומר, כללית זה נראה כמו קוד, אבל אין שום מאמץ לשמור על syntax נכון; או שבמקום לכתוב שורות קוד אמיתיות כתוב "do something". מן הסתם, מי שלא למד תכנות אף פעם יתקשה יותר בשאלות אלה. אני מציע לכם (א) תלמדו תכנות בשפה כלשהיא. ידע בסיסי בתכנות זה די דרישת סף בימינו לקבלת עבודה כבודק מקצועי. ו – (ב) תתאמנו קצת על שאלות מסוג זה. אם אין לכם מספיק דוגמאות – תשבו יחד כמה אנשים ותייצרו דוגמאות אחד לשני. זה גם ייתן לכם השתפשפות בקריאת פסבדו-קוד וגם יכין אתכם לשאלות מסוג זה.
20% מהשאלות בבחינה הן שאלות ברמה של K3 (8 שאלות).
בתחילת כל פרק של הסילבוס מופיעה רשימה של "יעדי לימוד" (learning objectives). ליד כל מטרת לימוד מופיע רמת הידע הנדרש (K-level).
על פי כללי ®ISTQB, ניתן לכתוב שאלות רק על יעדי הלימוד. לכן, אחד הדברים שעוזר בהכנה לבחינה זה לעבור על יעדי הלימוד ולראות האם הם מובנים לכם דיים. שימו לב שחלק מיעדי הלימוד הם די כלליים וניתנים לפרשנות. אז אמנם הם עוזרים להתפקס אבל אני מציע (א) לא להיתקע בחפירה על מה בדיוק נמרץ התכוונו כותבי הסילבוס במילה זו או אחרת ביעדי הלימוד ו-(ב) לא להזניח לגמרי חלק מחומר הקורס מתוך מחשבה שהבנתם בדיוק מה יעדי הלימוד מכסים ומה לא. הרי יש לכם אינטרס מקצועי לדעת את החומר ולא רק לדעת לעבור את הבחינה.
עוד דבר הקשור ליעדי הלימוד: השאלות בבחינה נכתבות כך שיהיו ברמה של יעד הלימוד (מבחינת K-level). כלומר שאם יעד הלימוד סומן כ – K2, לא תשאל עליו שאלה מסוג K3, ועקרונית גם לא K1. אני אומר "עקרונית" כי מניסיוני רב השנים בכתיבת וסקירת שאלות, לעיתים קשה מאוד לקבוע אם שאלה מסוימת היא K1 או K2 ואפשר לנהל על זה ויכוח ארוך ומיותר אל תוך הלילה. בקיצור – אם כתוב K2, כדאי לא להזניח את ההגדרות שמופיעות בפרק; וממילא הבנה של נושא מצריכה ידיעה של המושגים המסבירים את אותו נושא.
כתיבת שאלות בחירה ("שאלות אמריקאיות") היא משימה לא קלה.
מצד אחד, התשובה הנכונה צריכה להיות נכונה בצורה מובהקת (כלומר, צריך להיות הסבר ברור למה כל אחת מהאפשרויות האחרות אינן נכונות). מצד שני צריך שהאפשרויות הלא נכונות לא יהיו עד כדי כך לא נכונות שכל בן-אדם עם דופק יעבור את הבחינה תוך שימוש בהגיון בלבד. בנוסף, השאלות צריכות להיות מתאימות ליעדי הלימוד ול-K level המתאים.
בקיצור – לא פשוט.
מה שאומר שהרבה מהשאלות שמסתובבות באינטרנט הן ברמה נמוכה יותר ממה שתתקלו בבחינה (קלות מידי; לא מכסות את ה-K level המתאים וכו').
אז אפשר להשתמש בשאלות אלה כחומר הכנה לבחינה, אבל עם קצת זהירות: אל תסתפקו במציאת התשובה הנכונה. וודאו שאתם יודעים להסביר על כל תשובה לא נכונה, למה היא לא נכונה. אם נראה לכם שהשאלה טועה... זה יכול להיות! השתמשו בשאלה כ"טריגר" שמאלץ אתכם לקרוא שוב את החלק הרלוונטי בסילבוס. זו גם שיטה לחזור על החומר, וזה גם יעזור לכם לזהות שאלות שפשוט שגויות.
אפשר לסמוך הרבה יותר על האיכות של דוגמאות הבחינות שמופיעות באתר של ISTQB®, ITCB ואולי גם באתרים של מדינות אחרות (לא בדקתי – שווה לנסות; באתר של ®ISTQB יש לינקים לכל המדינות החברות בארגון). שמעתי לעיתים טענות שבחינות הדוגמה אינן משקפות את הקושי של הבחינות בפועל. אני לא מסכים עם הטענה. כמובן שתחת הלחץ של מבחן וזמן השאלות נראות קשות יותר, אבל אנו עוקבים אחרי אחוזי המעבר, מתקנים שאלות בעיתיות ומתקנים ציונים בהתאם.
הסיבה שאין המון בחינות דוגמה רשמיות היא בגלל המאמץ הגדול שנדרש לכתוב שאלות איכותיות. עד שכבר הצלחנו לכתוב שאלה טובה שעברה את כל הסוקרים (כל שאלה עוברת סקירה על ידי לפחות שני אנשי מקצוע), קשה להחליט לוותר עליה ולשחרר אותה לציבור. ובכל זאת, מידי פעם אנחנו (או ארגונים אחרים החברים ב ®ISTQB) משחררים בחינות.
לבחירת ספרים מומלצים לקריאה, גם כהכנה לבחינה וגם לצורך העמקה מקצועית אפשר להסתכל ברשימה שהכננו יחד מספר חברים ב-ITCB ונמצאת כאן:
הרשימה מצביעה על מספר ספרים שרלוונטיים לחומר של Foundation Level. חיפוש באמזון על "®ISTQB" מציג ספרים רלוונטיים אחרים הקשורים לתוכנית הלימודים שלנו.
צריך לזכור שמדובר בבחינה "אמריקאית". כלומר, של בחירה בין ארבע תשובות אפשריות. אז כל הכללים הרגילים תופסים:
דבר אחר שאנחנו משתדלים להדגיש זה כשהשאלה מבקשת למצוא מי מארבע התשובות אינה נכונה. כשאתם נתקלים בשאלה מסוג כזה – תזהרו. המוח האנושי לא מתמודד היטב עם שאלות "שליליות" ונוטה דווקא לבחור משפט נכון – גם אם ההוראות אמרו לבחור את הלא-נכון. אז כשיש שאלה מסוג זה, קצת יותר תשומת לב תעזור לכם. כאמור, אנחנו משתדלים להמעיט בשאלות כאלה ולהדגיש בהן את הצורך למצוא את המשפט הלא נכון אבל אין התחייבות שתמיד נציין זאת.
הבחינות בארץ קיימות באנגלית או עברית. אנחנו משקיעים מאמץ גדול בכתיבת השאלות ובתרגום שלהן לעברית ומשתדלים שיהיו מובנות וכתובות היטב. ליד כל מונח בדיקות המופיע בשאלה מופיע התרגום של המונח לאנגלית, כי אנחנו מודעים לכך שבהרבה מקומות עבודה המונחים שבשימוש הם הלועזיים.
אנחנו לא כותבים שאלות "טריקיות". אנחנו לא מנסים להתחכם או לבלבל את הנבחנים. אנחנו מנסים שהשאלות יהיו חד-משמעיות וברורות. אנחנו מנסים למנוע מצבים שבהם התשובה הנכונה תהיה שונה בין ארגונים שונים עקב הבדלים בשיטות עבודה ותהליכים. אז אם בזמן קריאת שאלה נראה לכם שאנחנו מנסים לעבוד עליכם ולבלבל אתכם והתשובה הנכונה היא זו המתחכמת... זה פשוט לא כך.
ועם כל זה – לעיתים יש טעויות. לפעמים משהו נראה לנו ברור לגמרי, ומתברר שלנבחנים עם רקע אחר משלנו הוא לא כל כך ברור. לפעמים זה סתם טעויות העתקה או בלבול בהדפסה. אז אם משהו נראה מוזר בבחינה, תשאלו את הבוחן! וכמו שציינתי כבר, אנו עוקבים אחרי אחוזי המעבר, מתקנים שאלות בעיתיות ומתקנים ציונים בהתאם. כמו כן אנחנו מתייחסים ברצינות לפניות המנוסחות היטב ומצביעות על שאלות בעיתיות (זה לא אומר שאנחנו מקבלים את הטענות! אבל אנחנו כן בודקים אותן). שימו לב על ההדגשה: אנחנו לא יכולים לעשות כלום עם פניות כלליות של "המבחן היה קשה מידי" או "השאלות לא מובנות". תנו לנו קצה חוט שאפשר להגיע בעזרתו לשאלה שחשבתם שהיא בעייתית, והסבר קצר מה היה לא תקין לדעתכם. אנחנו גם חושבים שזה לא מקצועי, ובטח לא חינני, לקבל פניות ברמה של talkbacks. ערעור על תוצאות בחינה הוא במידה מסויימת "דוח פגמים" – אתם טוענים שיש פגם בבחינה. ואתם יודעים שכתיבה איכותית של דוח מעלה את הסיכוי שיתיחסו אליו ויתקנו את הפגם – אם אכן הפגם קיים.
בנוסף, במקרים שיש לכם שאלה (על מושג; על שאלת דוגמה שלא הסכמתם עם פתרונה): אפשר ורצוי לעשות שימוש ברשתות החברתיות, ובמיוחד בפורום של ITCB ב – Facebook:
https://www.facebook.com/groups/IL.Testing.QA
אז שיהיה בהצלחה!
מיכאל שטאל
אחראי על הבחינות ב - ITCB
הערה: פוסט זה הוא דעתי הפרטית ואינו מחייב את ITCB או את ®ISTQB. הוא מפורסם מתוך רצון טוב לעזור, אך אינו התחייבות מבחינת ITCB או ®ISTQB לפרטי הבחינות.
בקיצור: ציטוט מכאן כנימוק למה מגיע לכם לקבל ניקוד על שאלה מסויימת במבחן לא ממש יעזור. תצטרכו נימוק יותר מקצועי ומשכנע.
