הסיכונים הטמונים בהטמעת מערכות AI בארגונים
השבוע בזמן שאני מתקדם לאיטי בפקק תנועה בלתי נגמר, שמתי לב לכמה פרסומים בשלטי חוצות ללימודים אקדמיים בתחומים שונים. ליד כל מסלול הוסיפו "AI"- מנהל עסקים AI, משפטים AI וכו' וכו'.
הבחירה של מפרסמים להשתמש ב AI כבאז-וורד שיווקי היא לא מקרית, כולנו חשופים לגל הבינה המלאכותית ששוטף אותנו ומציע שלל כלים והזדמנויות.
כמו המפרסמים, גם מנהלי בארגונים מגלים תיאבון וסקרנות לגבי מה שיש לטכנולוגיה הזאת להציע. ואכן, לכלי AI יש יכולת לשפר את הביצועים הארגוניים באופן דרמטי.
הטמעת מערכות AI בארגון נושאת עמה סיכוני אבטחת מידע משמעותיים, העלולים לפגוע בפרטיות, במידע העסקי ואף בביצועי הארגון. עם זאת, לצד ההזדמנות, יש גם לא מעט סיכונים אותם חשוב להכיר, כדי להימנע ממצב בו הברכה הופכת לקללה.
בשנים האחרונות גופי רגולציה שונים מבצעים תהליכים לניסוח תקנים ורגולציות בתחום, כך לדוגמא האיחוד האירופי מנסח סט תקנות ה AI ACT או ארגון ה ISO פרסם לאחרונה את תקן ISO42001.
אך בעוד הרגולציה מתקדמת לא באיטיות, השטח לא ממתין וארגונים רצים קדימה ומיישמים כלים באופן נרחב בארגונים.
ההיבטים עליהם אפרט במאמר קצר זה מתייחסים בעיקר לנושאי אבטחת מידע ומהימנות נתונים, אך עם זאת ישנם היבטים נוספים אותם יש לקחת בחשבון, כגון שיקולים אתיים, משפטיים ומסחריים.
הנה כמה סיכונים אותם חשוב להכיר:
סיכוני פרטיות ודלף מידע
מערכות בינה מלאכותית ניזונות מכמויות עצומות של נתונים, הכוללות לעיתים נתונים אישיים רגישים ונתונים מסחריים חסויים. לדוגמה, מערכות מבוססות למידת מכונה (ML) עושות שימוש בנתוני עבר כדי ללמוד דפוסים ולהפיק תחזיות מדויקות. כתוצאה מכך, איסוף ועיבוד נתונים בהיקף נרחב עלול להוביל לחשיפה לא מורשית של נתונים פרטיים ורגישים, בין אם באמצעות מתקפות סייבר מכוונות ובין אם כתוצאה מכשל מערכתי.
בנוסף, המערכות יכולות לשמר מידע רגיש גם לאחר עיבודו, מה שעלול לגרום לדליפה במידה ואין נהלי מחיקה ראויים. על כן, יש להקפיד על יישום נהלי אבטחת מידע מחמירים, הכוללים הצפנה, בקרת גישה ואנונימיזציה של מידע.
קיימים כמה כלים אפקטיביים לאבטחת פרומפטים אשר ניתן להטמיע בטווח שבין מקור הנתונים לבין כלי ה AI על מנת להטמיע פוליסות מתאימות. הכלים האלו ניתנים ליישום גם בתצורות WEB וגם באמצעות Agents מקומיים.
כמו כן, לא תמיד ניתן לדעת או לשלוט באופן שבו יצרן הכלי מבצע שימוש בנתונים. נדרשת שקיפות מצד היצרן לגבי האופן בו הוא מאמן את המודל, והאם הוא מבצע שימוש בנתונים של הלקוחות לטובת זה. שקיפות זו לא תמיד קיימת או ברורה.
סיכוני אבטחת מידע
כמו כל כלי שאנו מטמיעים בארגון, כל גישה אליו יכולה להוות משטח תקיפה פוטנציאלי. לדוגמא הטמעה שלו דרך ממשק API אשר אינו מאובטח דיו, יכול להוות פרצת אבטחה. לכן יש להתאים את ארכיטקטורת ההגנה בארגון גם במקרה זה.
חשיפה לסיכוני מניפולציה של נתונים
מערכות AI תלויות באיכות הנתונים שעליהם הן מאומנות. התערבות או מניפולציה בנתונים עלולה להוביל להחלטות שגויות ואף לנזק תפעולי. תוקפים יכולים לשנות את נתוני הקלט באופן שיגרום למערכת להפיק תוצאות מזיקות לארגון. לדוגמה, במקרה של מניפולציה על נתוני אימון של מערכת זיהוי הונאות, המערכת עלולה שלא לזהות פעולות חריגות באופן אפקטיבי, ובכך לאפשר לתוקפים לנצל חולשה זו.
על מנת להפחית את הסיכון, על הארגון לוודא כי התשתיות המאחסנות ומעבדות את הנתונים מאובטחות כהלכה, וכן לבצע בקרות איכות ובדיקות אנומליה בתהליכי אימון המערכת.
סיכוני רגולציה ותאימות
בשל האתגרים האתיים והמשפטיים שמערכות AI מעלות, קיימת דרישה גוברת מצד רשויות רגולטוריות להסדרת השימוש בכלים אלו. ארגונים חייבים לוודא שהטמעת כלי AI תואמת לתקנות הפרטיות והאבטחה הקיימות, כגון ה-GDPR באירופה ותקנות דומות במדינות נוספות. אי-עמידה בתנאים רגולטוריים עלולה להוביל לקנסות כבדים ולהשלכות משפטיות אחרות, מה שעשוי לפגוע במוניטין הארגון.
סיכוני אמינות והטיות אלגוריתמיות – Data integrity
טכנולוגייתAI מסוגלת לספק תחזיות חכמות על בסיס נתונים, אך כמו בכל מערכת, יש בה פוטנציאל לשגיאות ולהטיות הנובעות ממבנה האלגוריתם או מנתוני האימון. לדוגמא, תופעת ההמצאות, או הלוצינציות (hallucinations) בה הכלים למעשה ממציאים תשובות כאשר לא מוצאים תשובה מספקת. טעויות כאלו עלולות להוביל להחלטות עסקיות שגויות (ואף רפואיות) או לאפליה בין קבוצות אוכלוסייה שונות. לדוגמה, כלי AI המיועד לסינון מועמדים לעבודה עשוי להפלות על בסיס נתונים סטטיסטיים מוטים.
אובדן שליטה אוטונומית במערכות
ככל שמערכות AI מתפתחות, חלקן מקבלות סמכויות אוטונומיות לקבלת החלטות, ללא פיקוח ישיר. מצב זה מעלה את הסיכון שהמערכת תקבל החלטות שאינן תואמות לאינטרסים של הארגון, ואף עלולות להוביל להפסדים. מערכות כאלו עלולות "להשתחרר" מהשליטה האנושית ולגרום לנזק במידה ומופעלת בהן תכונת למידה אוטונומית שלא תוכננה כראוי.
כדי לצמצם סיכון זה, מומלץ להטמיע מגבלות ניהול ובקרה, להגדיר תחומי אחריות ולהפעיל בקרות מתמשכות על פעילות המערכת.
צריכת משאבי ענן
כאשר מפעילים כלי AI בהיקפים גדולים ולצרכים רבים, נדרש התהליך במשאבי ענן אשר יכולים להיות משמעותיים. בד"כ היבט זה לא נלקח בחשבון בהערכת הפרויקט, וזו עלות נסתרת אשר יכולה להיות גבוהה. כמו כן, ה"תיאבון" לשימוש בכלים אלו יכול לגדול לאורך זמן דבר אשר מקשה להעריך מראש כמה משאבים יש להקצות לטובת השימוש בכלי AI.
אז איך ניתן להתמודד בצורה מיטבית עם ההיבטים האלו?
ראשית, חשוב להתייחס להטמעה של כלים AI כפרויקט הטמעת מערכת מידע לכל דבר. יש לנהל תהליך מובנה אשר מתחיל בשלב זיהוי הצרכים, ועד בחירת הכלי, מיפוי הסיכונים, ההטמעה והולידציה. מדובר על תהליך מחזורי- מצד אחד הצרכים הארגוניים הם דינמיים, ומצד שני יש לנהל תהליכי בקרה רציפים כדי לוודא שהכלים לא מייצרים תוצאות שגויות, שהמידע מאובטח ושיש הלימה לדרישות הרגולציה.
