רקע ואודות האורח והחברה

אמיר פלס מכהן כסגן נשיא בכיר טכנולוגיות ופיתוח בחברת רדואר. הוא נמצא בחברה כ-30 שנה ומוביל ברמה הגלובלית את כל נושא ההטמעה הטכנולוגית, ארגון פרי-סיילס (טרום-מכירה), הארכיטקטים, הניתוח וההסמכה מול הלקוחות

ההתפתחות של חברת רדואר לאורך השנים

• תחום איזון עומסים והנדסת תנועת רשת, שממנו יצאה החברה להנפקה בבורסת נאסד"ק
• כניסה לעולמות אבטחת הסייבר והגנה על רשתות
• הגנה עמוקה על יישומים (אפליקציות)
• אספקת שירותי ענן ותשתיות מרכזי נתונים
• הגנה על עולם ממשקי התכנות  והלוגיקה העסקית
• הגנה על מערכות בינה מלאכותית, סוכנים חכמים ועובדים המשתמשים בבינה מלאכותית

השפעת הבינה המלאכותית על שוק העבודה ופיתוח תוכנה

בשיחה הועלו תרחישים עתידיים לגבי השפעת הבינה המלאכותית

• חזון מול מציאות: למרות תחזיות קיצוניות (כמו הערכות של מנכ"לים בתעשייה על החלפת רוב מכריע של כותבי הקוד בבינה מלאכותית במציאות היא משמשת כלי עזר עוצמתי ולא תחליף מלא לגורם האנושי
• שיפור תפוקה ועבודה: בצוותים של רדואר, הבינה המלאכותית מבצעת כ-80% מהעבודה ב-20% מהזמן. תהליכים שלקחו בעבר מספר חודשים מתקצרים ליומיים-שלושה באמצעות כלי בינה מלאכותית לאפיון, כתיבת קוד ובדיקות
• שימושים בארגון: הטכנולוגיה נכנסה לשימוש רחב אצל מפתחים, במחלקות משפטיות, כספים, שיווק וניהול]. כלי סיוע (כדוגמת קו-פיילוט) מסייעים בסיכום שיחות, ניהול דואר אלקטרוני ומשימות
• מיצוב יחסי: ארצות הברית וסין מובילות בפיתוח מודלי השפה והחומרה, בעוד שישראל מתמקדת בפתרונות אבטחת סייבר ותשתיות חומרה מתקדמות

איומי אבטחה ייחודיים בסביבות בינה מלאכותית

הטמעת הבינה המלאכותית בתוך הארגון ומול בסיסי הנתונים וממשקי התכנות פותחת אפיקי תקיפה וסיכונים חדשים (הדורשים הגנה מעבר למעקבי בטיחות בסיסיים)

• הזרקת הנחיות ישירה ניסיונות של משתמשים לבצע מניפולציה ישירה על המודל כדי לחלץ מידע חסוי או לעקוף מגבלות
• הזרקת הנחיות עקיפה איום חמור וסמוי שבו הוראות זדוניות מושתלות בתוך קבצים חיצוניים (טקסט לבן על רקע לבן, תמונות או דואר אלקטרוני). כאשר סוכן הבינה המלאכותית סורק את המידע ממערכות האחסון הארגוניות, הוא מעבד את ההוראות הסמויות ועלול להדליף מידע ארגוני רגיש
• איומים בזמן ריצה וברמת המודל: הרעלת נתוניםושימוש לרעה בהרשאות של סוכנים אוטומטיים הפועלים במערכת.

הפתרון של רדואר: הגנה בזמן ריצה (Runtime Protection)

אמיר פלס מבהיר כי כלים לאיתור חולשות בקוד מסייעים במניעת באגים מראש אך רוב ההתקפות מנצלות בעיות התנהגותיות ולא רק כשלים בקוד

• ניתוח התנהגותי דינמי: במקום להתבסס רק על חוקים קשיחים או גבולות מוגדרים מראש, רדואר משתמשת באלגוריתמים מתמטיים מתקדמים המזהים דפוסי התנהגות חריגים ולומדים את דפוסי ההתנהגות הלגיטימיים של הלוגיקה העסקית והסוכנים: 1
• זיהוי הפער בין כוונה לביצוע: המערכת מזהה מתי ה"כוונה" של המודל עברה מניפולציה בזמן אמת ועוצרת את ההתקפה באופן מיידי בזמן ריצה
• רמת דיוק גבוהה: בעוד הממוצע בתעשייה לזיהוי התקפות עומד על כ-80%-90%, הפתרונות של רדואר מגיעים לרמות דיוק של 96%-98% הודות לשימוש בבינה מלאכותית לצורך חסימת איומי בינה מלאכותית

מודלים מתקדמים של בדיקות איכות ובדיקות אבטחה (Red Teaming)

עולם הבדיקות ואימות המערכות עובר שינוי משמעותי

• צוותי תקיפה מבוססי סוכנים: הסטנדרט המוביל כיום בתעשייה מבוסס על פיתוח קבוצות של סוכני בינה מלאכותית הפועלים בשיתוף פעולה
• סימולציית תקיפה מורכבת: סוכן אחד מנסה לפרוץ ליישום, סוכן שני מייצר סוגי תקיפות שונים, והם משתפים מידע ביניהם (כגון שמות משתמש וסיסמאות שהושגו) כדי להמשיך בלחימה מול המערכת – בדומה לקבוצות תקיפה אנושיות

לסיכום: הטמעת בינה מלאכותית בארגונים היא כורח המציאות המעלה את התפוקה, אך היא יוצרת שטח תקיפה חדש. הגנה אפקטיבית דורשת שילוב של בדיקות אבטחה מקיפות והגנה אקטיבית בזמן ריצה המבוססת על ניתוח התנהגותי