שיחות על סיכון קיומי של בינה מלאכותית מסתירות נושא דחוף יותר: ארגונים כבר פורסים בינה מלאכותית ללא ממשל יעיל שישלוט בטכנולוגיה.

מאז תקרית OpenAI-Hugging Face ביולי , השיח סביב בינה מלאכותית חרג מקנה מידה. מה שהיה בעבר דיון סביב בקרה וניטור הפך במהרה לוויכוח סוער על סיכון קיומי של בינה מלאכותית.

מנהיגי חברות בתחום הבינה המלאכותית אומרים לעסקים ולממשלות שבינה מלאכותית עלולה לגרום להכחדת האדם , תוך שימוש בנתוני אחוזים שרירותיים כדי "להוכיח" את טענתם. אך קהילת האבטחה דחתה במידה רבה את הטענות הללו, שלטענתם מטשטשות איום ממשי ומיידי מצד בינה מלאכותית.

ואכן, עבור עסקים, התמקדות יתרה בתרחישי הכחדה היפותטיים מסכנת את טשטוש בעיה דחופה הרבה יותר: ארגונים כבר פורסים בינה מלאכותית בזרימות עבודה, מוצרים ותהליכי קבלת החלטות, לעתים קרובות ללא הממשל הנדרש כדי להבין היכן היא נמצאת בשימוש, אילו החלטות היא יכולה לקבל, לאיזה מידע היא יכולה לגשת, או מי אחראי כאשר משהו משתבש.

שינוי השיחה

בעבר הוצגה בינה מלאכותית כטכנולוגיה שתציל את האנושות, באמצעות ניתוחי רובוטיקה משני חיים וגילוי ואבחון סרטן. אך כעת תעשיית הבינה המלאכותית מלבה חשש מפני סוכני בינה מלאכותית, באומרה ש"נחיל סוכנים " עלול למחוק את האנושות.

זה מסתיר את הסיכונים המיידיים והממשיים שמציבה בינה מלאכותית. זה לא נכון מצד מנהיגים עסקיים לחשוב על סוכני בינה מלאכותית כ"נבלים אוטונומיים" או "איומים קיומיים", אומר צ'נדרה גנאנאסמבנדאם, מנהל טכנולוגיות ראשי ב-SailPoint. "מה שהם יעשו זה למצוא את הדרך המהירה והישירה ביותר להשלים משימה - שילוב ידע על מערכות, דפוסי אבטחה, קוד ולוגיקת זרימת עבודה כדי למצוא פתרון עוקף."

כאן טמונה הסכנה המיידית, אומר גננסבנדאם. "סוכן שמנוהל בצורה גרועה יכול לסטות מעבר לתפקידו המיועד, לגשת למידע שאסור לו, או לנקוט בפעולות שבעליו האנושי לעולם לא היה מאשר ביודעין."

כל סוכן, חשבון שירות וזהות מכונה חדשים מסתכנים בהפיכה ל"נקודת כניסה נוספת לא מנוהלת", ובכך מרחיבים את משטח התקיפה של הארגון, הוא מזהיר.

בעוד שדיונים על הכחדת בינה מלאכותית נוטים להיות דרמטיים, הסיכונים שיכולים לפגוע בעסקים כיום הם "לעתים קרובות יחסית שגרתיים", מוסיף לוריס דג'יאני, מייסד ומנהל טכנולוגיות ראשי ב-Sysdig. "אם אינך יודע היכן פועלת הבינה המלאכותית, למה היא יכולה לגשת, ומי אחראי כאשר היא עושה משהו לא בסדר, אתה בסיכון."

Shadow AI

שימוש בצללים, ללא אישור, בבינה מלאכותית הוא איום מסוים שחברות צריכות להיות מודעות אליו. טרייסי האנן-ג'ונס, מנהלת ייעוץ אבטחת מידע בקבוצת UBDS, מתארת ​​כיצד עובדים משתמשים לעתים קרובות בכלים יצירתיים של בינה מלאכותית כמו ChatGPT, Microsoft CoPilot ו-Google Gemini כדי לתמוך בעבודתם היומיומית. שימוש בלתי מאושר זה "יוצא לחלוטין מחוץ לכל מסגרת ממשל שאולי יישמתם", היא אומרת.

התוצאה היא שרוב הארגונים אינם מחזיקים כיום במלאי מדויק של היכן נעשה שימוש בבינה מלאכותית בפעילותם, אילו נתונים מעובדים באמצעות הכלים, או אילו פלטים משפיעים על החלטות אמיתיות.

"בלי נראות, אין שום ממשלה, ובלי ממשלה, אין אחריות", מזהירה האנן-ג'ונס.

כאשר מישהו מדביק קוד מקור, חוזה או רשומות לקוח לתוך מודל - או שעובד נותן לסוכן גישה רחבה כדי שיוכל לפעול במהירות - הוא "עשוי לתת מידע סודי וקניין רוחני למערכת שהוא לא שולט בה באופן מלא", מזהיר דג'יאני מסיסדיג. "זה קורה בתוך זרימות עבודה יומיומיות שבהן ניהול ומדיניות בינה מלאכותית לא עמדו בקצב האימוץ."

קיים גם סיכון שהזיות של בינה מלאכותית ותפוקות לא אמינות ייכנסו לתהליכים עסקיים אמיתיים. לבינה מלאכותית גנרטיבית יש נטייה מתועדת היטב לייצר תפוקות שוטפות, סמכותיות בנימה, ו"לעתים קרובות מאוד, עובדתית שגויה", אומרת האנן-ג'ונס.

"זהו מאפיין מבני של האופן שבו מודלים לשוניים גדולים (LLMs) מייצרים תוכן: הם חוזים רצפי טקסט סבירים, אך הם אינם מאמתים את העובדות", היא מסבירה.

לכן, כאשר תוכן שנוצר על ידי בינה מלאכותית נכנס לתהליכים עסקיים אמיתיים ללא פיקוח אנושי הולם, שגיאות בטיוטות משפטיות, דוחות תאימות, תקשורת עם לקוחות וניתוח פיננסי עלולות לגרום נזק תדמיתי ולסכן הפרת רגולציה, אומרת האנן-ג'ונס.

ככל שמודלים של בינה מלאכותית ימשיכו להשתפר, הם יזהו פחות ויעשו פחות טעויות עובדתיות. עם זאת, הצד השני של המטבע הוא שככל שהמערכות משתפרות, כך הן יהפכו מיומנות יותר ב"מציאת דרכים לעקוף את הכללים כדי לבצע כל משימה שהטלתם עליהן", אומר דג'יאני.

לדברי דג'יאני, הדבר יביא להתנהגות שתהפוך ל"משמעותית יותר". "משמעות הדבר היא שסוכנים עשויים לחפש דרכים לעקוף בקרות או לנקוט בקיצורי דרך בזמן שהם מייעלים את מטרותיהם."

"חיפוש אחר מטרות הוא "כוח פנימי של טכנולוגיית סוכנים", אומר Gnanasabandam של SailPoint. עם זאת, כאשר יכולת זו פועלת מחוץ למסגרת - כאשר סוכני בינה מלאכותית נותרים בלתי מתגלים ואינם מפוקחים - סוכנים יכולים לנהוג ב"התנהגות רעה" כמו רכישת הרשאות מוגזמות או נקיטת פעולות לא מכוונות, הוא מזהיר.

ממשל תקין

ניתן לנסח ניהול תקין כמגבלת השימוש בבינה מלאכותית, אך מומחים אומרים שאין צורך להציב מחסומים לחדשנות. ניהול אופטימלי מאפשר לארגונים להשתמש בבינה מלאכותית "עם ביטחון רב יותר", מסביר טריסטן שורטלנד, מנהל טכנולוגיות ראשי בקבוצת אינפיניטי.

שורטלנד מאמין שמשילות מתחילה ב"הבנה היכן נעשה שימוש בבינה מלאכותית, לאילו נתונים היא יכולה לגשת, אילו החלטות היא יכולה לתמוך ומי נשאר אחראי לתוצאות".

"לא הייתם נותנים לעובד חדש גישה בלתי מוגבלת לכל מערכת, מסמך ופיסת מידע רגיש בעסק כבר מהיום הראשון", אומר שורטלנד ל- IO . "אין להתייחס לסוכני בינה מלאכותית ולטייסי משנה באופן שונה. הגישה צריכה להתבסס על צורך, יש לשלוט בהרשאות והפעילות צריכה להיות ניתנת לביקורת."

שורטלנד אומר שאיכות התפוקות של בינה מלאכותית קשורה ישירות גם לרמת הנתונים המסופקים. "אם ארגונים מזינים לבינה מלאכותית מידע לא שלם, לא מדויק או מידע לא מנוהל בצורה גרועה, הם לא צריכים להיות מופתעים כשהם מקבלים תוצאות לא אמינות. סקירה אנושית, מקורות נתונים מהימנים ותיקוף קבוע נותרים חלקים קריטיים בכל תהליך אחראי של בינה מלאכותית."

נקודת התחלה חזקה היא התקן הבינלאומי ISO 42001 , המספק "מסגרת מובנית מבוססת סיכונים", אומרת האנן-ג'ונס מ-UBDS. "הוא דורש מארגונים להקים מבני ממשל עבור בינה מלאכותית הכוללים הערכות סיכונים ספציפיות לבינה מלאכותית, תפקידים ואחריות מוגדרים לפיקוח על בינה מלאכותית יחד עם יישום וניהול וניטור שוטפים של ביצועי מערכת הבינה המלאכותית והשפעותיה. זו אינה תעודה קלה להשגה ודורשת מיקוד וממשל חזק כל השנה, לא - אני מעז לומר - שבועיים לפני הערכת ההסמכה."

חלק מהחברות כבר מחזיקות בתקן ISO 27001 , או הסמכת אבטחת מידע מקבילה, כגון מסגרת הערכת הסייבר של המרכז הלאומי לאבטחת סייבר . "זה נותן לך בסיס טוב עליו ניתן לבנות, מתודולוגיות סיכונים, מדיניות מתועדת, תהליכי ביקורת, סקירות הנהלה והרחבת משילות הבינה המלאכותית כמאמץ ממוקד", אומרת האנן-ג'ונס.

לצד זאת, דג'יאני מסיסדיג ממליץ להבטיח נראות בזמן ריצה של "מה מערכות אלו עושות בפועל בייצור".

"ניטור בזמן אמת הוא המפתח מכיוון שסוכני בינה מלאכותית פועלים במהירות והם לא תמיד מתנהגים כפי שניתן היה לצפות", הוא מזהיר. "צריך את היכולת לראות ולהגיב במהירות כשמשהו משתבש."

הרחב את הידע שלך

בלוג: בינה מלאכותית ניצול פגיעות של Supercharging: מה קורה עכשיו?

בלוג: תוכנית שיתוף הפעולה של הבית הלבן בתחום הבינה המלאכותית צריכה לעורר התבוננות פנימית רחבה יותר בשרשרת האספקה ​​של בינה מלאכותית

פודקאסט: פישינג לצרות עונה 2 פרק 2: בינה מלאכותית: אמון, אתיקה ועשייה נכונה מההתחלה