LOGIN
התחברות או הרשמה
Avatar
להמשך הרשמה ידנית – לחץ על כפתור ההרשמה, להרשמה/כניסה מהירה בעזרת חשבון רשת חברתית – לחץ על הלוגו בכותרת

אפס סיסמה - שכחתי את שם המשתמש

שם משתמש
סיסמה
זכור אותי

he icon   en icon

בכדי להוסיף פוסט בבלוג יש להרשם או להתחבר - ההרשמה/כניסה מתבצעת מכותרת האתר.

מיישמי אוטומציה – איזו מין חיה זו?

נכתב על ידי 
שישי, 02 מאי 2014 06:10
דרגו כתבה זו
(1 הצבעה)


לפני כמה חודשים קראתי את הפוסט הקצר הזה, גירדתי קצת בראשי, אמרתי לעצמי "טוב, אני לא מסכים עם זה אפילו קצת" והמשכתי הלאה בחיי.
מאז, כבר פעמיים או שלוש (שאני זוכר) שראיתי את קובי מקשר לפוסט הזה במסגרת דיונים. בכל פעם נזכרתי שוב שצריך לפתוח את הדיון סביב השאלה "מה היא אוטומציה ואיך צריך להתייחס אליה?". ואז הייתי עסוק ושכחתי.
בגדול, יש שלוש נקודות שמפריעות לי:
1) מה שעושה "מיישם אוטומציה" *אינו* אוטומציה, וכל דבר מעבר לטווח המיידי, גם אינו יעיל.
2) ההפרדה בין התפקידים מסרבלת את המערכת ומובילה לקוד פגום שאינו מותאם לצרכים.
3) הנקודה החשובה ביותר נשמטה ממנו – מי שמתעסק באוטומציה למוצרים הוא בראש ובראשונה בודק.

ועכשיו, עם טיפ-טיפה יותר פירוט.

אוטומציה, במובנה הפשוט ביותר, היא ביצוע פעולה על ידי מכונה בלי התערבות אנושית תוך כדי הפעולה (עד כדי לחיצה על כפתור "הפעל"), בהקשר הזה אפשר עוד לקבל את הטענה שמשתמשים שיכולים רק להפעיל כלים שאחרים כתבו בשבילם עושים "אוטומציה". אבל בעולם הבדיקות יותר ויותר מקומות מבינים שאוטומציה אמורה להתקדם עם המוצר הנבדק, להיות יעילה וניתנת לתחזוק.
במובן הזה, מי שמשתמש בתשתית בדיקות וגורר "אבני בניין" כדי להרכיב מקרי בדיקה אולי חוסך לעצמו זמן כשהוא צריך להריץ את אותה בדיקה תשע פעמים, אבל ביום בו אחת מאבני הבניין שלו תצטרך להשתנות הפער בין קיצור הדרך הזה לבין אוטומציה של ממש יבלוט באופן כואב.

יש היום בשוק לא מעט כלים שמתיימרים לספק לבודק חסר יכולת התכנות את היכולת לכתוב בדיקות אוטומטיות. חלקם בעלי מוניטין מפוקפק (מישהו אמר QTP?) חלקם ממש טובים במה שהם עושים (SoapUI, למשל, די מרשים) אבל לכל אלה בהם נתקלתי, יש חיסרון אחד מובנה – ההפרדה בין תשתית בדיקות לבין הגיון עסקי מובילה לכך שהמיישמים מוצאים את עצמם עם עשרות או מאות "תרחישים" שכל אחד מהם מורכב ממספר לא קטן של אבני בניין תלויות זו בזו. חלק גדול מדי מהכלים שראיתי לוקה ביכולת ניהול הזרם (תרגום עקום שלי לflow control) - הטובים שבהם ייתנו לבודק אפשרות לומר "אם הבדיקה עברה, לך לכאן, אם היא נפלה לך לשם", אבל אם אבן בניין יכולה להיכשל בכמה דרכים שונות (למשל, ניסיון כניסה למערכת יכול להיכשל עם שגיאה בגלל סיסמה שגוייה, עם הודעת שגיאה בגלל תקלת מערכת, או עם דף שפשוט לא זז) ואני לא נתקלתי ב"תשתית" שמאפשרת ירידה לרזולוציה שנדרשת לפעמים בניהול הזרם.

בנוסף – קיומם של עשרות תרחישים גורם לכך ששינוי של אבן בניין יהיה יקר מאוד – זה אמנם לא זול לשנות API במוצר תוכנה קיים, אבל ברוב הכלים בהם נתקלתי, הניהול נעשה דרך ממשק גרפי ולא באמצעות טקסט, מה שמאריך פלאים את הזמן הנדרש לביצוע השינוי.

ודבר אחרון לגבי איכות הבדיקות שנכתבת על ידי מיישמים שמקבלים דברים מוכנים מראש - בסופו של יום, אף כלי לא יכול לעשות הכל, בטח שלא מייד. וכמו הטיפוס שקיבל ליד פטיש ופתאום כל בעיה נראתה לו כמו מסמר, גם כאן – אם התשתית מאפשרת רק פעולות מסוג מסויים, הבדיקות האוטומטיות תהיינה מהסוג הזה. אין צעד של "בדוק לוגים"? כותבים בדיקות שלא מחפשות שגיאות ומחמיצים לא מעט.

עד כאן לגבי הנקודה הראשונה. על למה מיישמי אוטומציה יתקשו מאוד לייצר משהו נורמלי. אבל, גם אם נתעלם מזה לרגע, ישנה בעיה חמורה יותר – ההפרדה מובילה למצב בו מי שכותב את התשתית לא צריך לבצע בדיקות בעצמו, לא משתמש בה ולא באמת יודע מה עושים איתה.
ומעשה שהיה כך היה – לפני בערך שנה נכנסנו למשימה בה יחס העבודה היה 3:1 בין הבודקים למפתחים (שלוש משימות בדיקה מול כל משימת פיתוח. משימה, לצורך העניין, היא משהו שאמור לקחת כיום עבודה לאדם אחד), בשל חופשות ושאר בלת"מים יחס האנשים היה 1:5 (בודק אחד, חמישה מפתחים) היה לנו ברור איפה נמצא צוואר הבקבוק הפעם. כדי להתגבר על זה, החלטנו להעביר למפתחים שתי משימות גדולות יחסית – הוספת היכולת של מערכת האוטומציה שלנו לייצר קבצי אקסל בצורה מסויימת, וייצור של קבצי XML. אפילו קיבלנו את מה שביקשנו – אלא מה? בשני המקרים, כדי שאוכל להשתמש במה שקיבלתי, הייתי צריך לבלות בין חצי יום ליומיים בעטיפה של הכלים שקיבלתי והתאמה שלהם לשימוש. זה עדיף על פני חמשת הימים שהיה לוקח לי לכתוב את הכל מאפס, אבל זה משהו שלא היה קורה אילו מישהו מהבודקים האחרים היה מייצר את הקוד הזה. זה קרה למרות שישבתי עם המפתחים והגדרנו יחד מה אני צריך ואיך אני רוצה שזה יתנהג. גם קיבלתי את מה שביקשתי.
מה לא קיבלתי? את מה שלא ידעתי לבקש מראש, או את מה שחשבתי שברור מאליו. שכחתי לבקש שאם ב90% מהמקרים רוב הפרמטרים קבועים אני לא רוצה להגדיר אותם מחדש עם כל אובייקט. ברור לי לגמרי שאם אני רוצה להכניס קבצים למערכת הבדיקות שלי לא מספיק לי לקבל .jar ואני רוצה את קבצי המקור כדי לשנות במידת הצורך. כל מיני דברים קטנים כאלה. חלק מהם אני מאמין שאפשר לפתור אם עובדים ככה לאורך זמן, חלק אחר יישאר, לדעתי, כל עוד יש פער בין כותב הכלי למשתמש.
עוד נקודה חשובה - במצב בו מישהו אחר כותב לי את התשתית, בקשות לשיפורי תשתית רלוונטיות רק במקרי קיצון, ולא תמיד אפשריות. למשל – העברנו את העבודה שלנו מול מסד הנתונים להיות מבוססת על מיפוי של כל הטבלאות לאובייקטים (Hibernate, אם להיות ספציפיים) – זה מצריך אותנו למפות כל טבלה, וחוסך לנו שכפול עצום של כתיבת אותו SQL כמעט. אם אני צריך לבדוק פעם שדה א' ובבדיקה אחרת שדה ב' לפי אותו where – אני מבקש את האובייקט ומתחקר אותו. לו כתבתי "תשתיות אוטומציה", המעבר הזה היה לא הגיוני. למה שאייצר תשעים אבני בניין, כשאני יכול לספק אחת שמקבלת מחרוזת SQL והוראות חיבור למסד הנתונים? פרוייקט הבדיקה שהיה מסתמך על התשתית שלי היה משכפל שאילתות וחורק בשיניו בכל פעם בה טבלה משתנה וצריך לעדכן את השאילתות עליה.

ולנקודה האחרונה:
ג'יימס באך טוען כאן שבודק לא חייב לדעת לתכנת, אבל אם הוא לא יודע לתכנת הוא צריך לדעת לגרום למתכנתים לכתוב בשבילו את הכלים שהוא צריך. בעוד שהאמירה הזו נשמעת לי נכונה למדי בהקשר של בדיקות ידניות מתוגברות כלים, תמונת המראה שאפשר להסיק ממנה – שמי שמתכנת בדיקות לא חייב להיות בודק – אינה נכונה בעליל.
משימת תכנות, לפחות כפי שיצא לי להיתקל בה עד כה, משמעה לבצע את המשימה במדוייק וביעילות. תכנות בדיקה, לעומת זאת, היא כמו כתיבת תסריט בדיקה: בראש ובראשונה מדובר בפעילות למידה. לומדים איך התוכנה פועלת, איך היא אמורה לפעול, ואיך אפשר לבדוק אותה. כשאני כותב אוטומציה לדף אינטרנט, למשל, אני לומד איך מוגדרים רכיבי HTML שלו. ככה גיליתי, למשל, שמה שהתייחסתי אליו בבדיקות הידניות בתור דף אחד עם רכיבים שחשופים לפי הרשאה, הוא בעצם שני דפים שונים שנראים דומה. כמו שבמהלך תסריט בדיקה מגלים לא מעט פעמים באגים, כך גם במהלך כתיבת הבדיקה האוטומטית. אם מי שכותב את האוטומציה אינו בודק, הוא ייגש למשימה כמו למשימת פיתוח. אם הוא בודק, אבל לא מכיר את המוצר היטב, היכולת שלו לאתר דרישות שאינן נכונות מבחינה עסקית קטנה יותר.

כל זה מוביל אותי לתהייה – את ההגיון שבשכירת בודקים ידניים ללא יכולת תכנות אני יכול להבין: השקעה באוטומציה דורשת לא מעט משאבים מהארגון, ולפעמים הגיוני להשקיע במקום אחר ולשמור את הבדיקות מסורבלות (וגם לשלם את הקנס שיבוא כשיחליטו להתחיל לבנות אוטומציה. את התועלת שבשכירת בודקים עם יכולות תכנות מלאות אני רואה בחיי היומיום, אבל מה ההיגיון בשכירת "מיישמי אוטומציה"? הכלים המסחריים בשוק מעודדים כתיבת בדיקות קשה מאוד לתחזוקה (וזה הגיוני, כי הכלים האלו כלליים מאוד), החזקת צוות פנימי שיפתח תשתיות אוטומציה ברמה שתאפשר לאלו שאינם מתכנתים לכתוב בדיקות חדשות דורשת את אותו סדר גודל של השקעה כמו שכירת מתכנתים לצוותי הבודקים מלכתחילה ומובילה לבדיקות מוגבלות יותר ומאורגנות פחות עם עלייה מהירה מאוד במחירי התחזוקה. למה שמישהו ירצה לשלם עבור דבר כזה?

שונה לאחרונה ב שבת, 03 מאי 2014 18:10

חובה להיות משתמש רשום במערכת בכדי להגיב - ההרשמה/כניסה בכותרת האתר

חדשות מעולם הבדיקות

  • The Power of Language

    In today’s world, I cannot believe that people, especially those in a position of authority, are still seemingly ignorant of the power of language. Even if it’s a written note, email or in-person and out loud, it still has the same, if not more of, an impact. The pen is indeed mightier than the sword; certainly within the corporate sphere – ignoring those that do take a sword to work with them (not to be ignorant or uninclusive). So, with this in mind, how, when we are striving for leadership and inspirational words, are we left with those that shut us down and make us want to curl up in just 4 lines of text in an email? Is this just my experience? I think not; given that we can illustrate to the world our deepest feelings in 140 characters (or less) for the most part. Yes, we can be succinct, but we’re still eloquent when trying to get a point across, aren’t we? I think I’m going to expand on this, but this is certainly thought for today. Please, think about what you’re writing and re-read it before you send it. It could make all the difference to someone today. /B

    14.11.2019 | 3:42 קרא עוד...
  • Getting High Coverage Regression Tests Quickly (Part 3): From Approvals to Combination Approvals

    This is the final blog posts in which I talk about what I learnt while attending Emily Bache’s workshop ‘Getting High Coverage Regression Tests Quickly’. This was a half day workshop that took place at Test Bash Manchester on 2nd October 2019. Before reading this blog post, I recommend reading part 1 and part 2 first. In my previous blog posts, we adapted a test so that assert statements were replaced with approval tests. This test was updated further so that we could increase the test coverage. In this blog post, we will use combination approvals to increase the test coverage even faster. This exercise was completed using C# in Visual Studio with the ‘dotCover’ and ‘Resharper’ plugins. Legacy code from Hell The application we are testing is called Gilded Rose. It is an old, over-complicated and poorly designed application with several nested if-statements. Here is a section of the function ‘UpdateQuality’ which includes several of these it-statements. Getting high coverage of code like this is a challenge. To get the required level of coverage, we would need to develop a large number of individual unit tests. The use of combination approvals allows the same test to be run with a combination of different inputs. For this test, we wrote the function ‘DoUpdateQuality’ which sets the name, sellin and quality for an item and then updates the item by running ‘UpdateQuality’. The test is then written which includes the combination approval. Three lists are included: Name => “+5 Dexterity Vest”SellIn[…]

    14.11.2019 | 2:00 קרא עוד...
  • Five Blogs – 14 November 2019

    The (best) five blogs I read today. Check them out. 7 Benefits of Implementing Automated Testing Written by: Victoria Bezsmolna Bringing Continuous Testing to Your Organization Written by: Chris Colosimo Why Should Testers Start Learning Build Management Tools? Written by: Sumon Dey Production Deploy with Every Check-In? You Gotta Go TWO Low! Written by: Paul Grizzaffi Developer-Tester Collaboration: How and Why Written by: Johanna Rothman Quote of the day: “You’ve given yourself time to figure things out.” -Bria Barrows You can follow this page on Twitter

    14.11.2019 | 12:49 קרא עוד...

טיפים

לרשימה המלאה >>