חוקרים פירטו פגם ב-Copilot של מיקרוסופט 365, "EchoLeak", אשר עלול לאפשר לתוקפים לחלץ נתוני חברה רגישים ללא כל התערבות מצד המשתמש. ככל שבעיות כגון זו גוברות, האם חברות שאננות לגבי האיום שמציב הבינה המלאכותית?
ביוני, חוקרים חשפו כי מצאו פגם במערכת Microsoft 365 טייס שיכולים לאפשר ליריבים לחלץ נתוני חברה רגישים במתקפה של "אפס קליקים", מבלי לדרוש התערבות מצד המשתמש.
כונה "EchoLeak" ונחשב ל- ראשון מסוגו, הפגיעות מנצלת פגמי עיצוב שנמצאו ב שליפה דור מוגברצ'אטבוטים וסוכני בינה מלאכותית מבוססי - כך אמרו חוקרים ב-Aim Labs.
ב בלוגהחוקרים הסבירו כיצד השתמשו בטכניקת ניצול חדשה הנקראת הפרת טווח של מודל שפה גדול (LLM). "זה מייצג התקדמות משמעותית בתגליות מחקריות באופן שבו גורמי איום יכולים לתקוף סוכני בינה מלאכותית - על ידי מינוף מכניקת המודל הפנימי", כתבו.
מיקרוסופט תיקנה את הבעיה לפני שניתן היה להשתמש בה במתקפות אמיתיות, אך EchoLeak מדגים את הסיכונים האמיתיים מאוד הנשקפים מ... כלי בינה מלאכותית בעסקים.
ככל שפגיעויות כאלה צצות יותר ויותר, האם חברות שאננות לגבי האיום שמציב הבינה המלאכותית, ואילו צעדים עליהן לנקוט כדי להבטיח שהן עמידות?
איומים מבוססי בינה מלאכותית
כלי בינה מלאכותית מציבים סיכונים רבים לעסקים. לדוגמה, למרות שהם אומנו להיות מועילים, הם לא תמיד מבינים מה לא צריך להיות משותף, אומר סם פיטרס, מנהל מוצר ראשי ב-ISMS.online.
אחד הסיכונים הגדולים ביותר טמון באופן שבו מערכות בינה מלאכותית גנרטיבית מאומנות או מתבקשות. "הן עלולות לאחסן או לחשוף מידע רגיש בשוגג, ללא כל כוונה זדונית", מזהירה ליליאן טסאנג, עורכת דין בכירה להגנה על נתונים ופרטיות במשרד עורכי הדין הארפר ג'יימס.
אם כלי בינה מלאכותית אינם מוגדרים כראוי, הם עלולים אפילו להוציא נתוני לקוחות או עובדים בתגובה להנחיות. "תהליכי רקע יכולים לחשוף מידע המאוחסן במטמון או מידע שעבר אסימונים באמצעות אינטראקציות עם מערכות חיצוניות", מסביר טסאנג. "החלק המטריד ביותר הוא שייתכן שהמשתמש לעולם לא ידע שהנתונים שלו טופלו בצורה שגויה, מה שמקשה עוד יותר על הזיהוי והתגובה."
מה שמחמיר את המצב הוא המהירות שבה אימוץ בינה מלאכותית. כלי בינה מלאכותית מוטמעים יותר ויותר עמוק בתשתיות עסקיות - לעתים קרובות לצד "מדיניות מעורפלת" או "נראות מוגבלת לגבי האופן שבו הם מעבדים ומאחסנים נתונים", אומר רוברט ריאה, המנהל הטכני הראשי ב-Graylog.
פגיעויות בכלי בינה מלאכותית מוסיפות שמן למדורה. EchoLeak הוא סימן ברור לכך שמודלי האבטחה עליהם הסתמכו חברות אינם מתורגמים היטב לבינה מלאכותית, אומר אמיליו פינה, מנהל ב-SecureFlag. "כלים כמו Copilot פועלים על פני מקורות והרשאות מרובים, ומושכים נתונים באופן אוטומטי כדי לסייע בפרודוקטיביות. האתגר הוא שבינה מלאכותית אינה עוקבת אחר אותם גבולות ברורים כמו אפליקציות מסורתיות."
כלי בינה מלאכותית, כמו Microsoft Copilot, הם ללא ספק רבי עוצמה, אך הם בטוחים רק כמו המערכות והממשל המקיפים אותם, אומר פיטרס. "אני חושב שמה שהאירוע הזה מדגיש הוא שכרגע, הסיכון האמיתי עם בינה מלאכותית אינו רק שימוש לרעה מכוון; אלא חשיפה לא מכוונת."
מודע לסיכון
כפי שמראה EchoLeak, האיום אמיתי וגדל, אך מומחים סבורים שחלק מהחברות שאננות לגבי הסכנות הכרוכות בכלי בינה מלאכותית. הסיבה לכך היא בין היתר שיש דגש רב על מה שבינה מלאכותית יכולה לעשות, ולא על הסיכונים שהיא מציבה.
"במידה מסוימת, עסקים מסונוורים כיום מהחידוש של הבינה המלאכותית והאפשרויות שלה", אומר ג'וזף תומפסון, עורך דין בצוות המסחרי והטכנולוגי ב-Birketts LLP. ISMS.online"אנחנו לא שואלים את עצמנו אם זה בטוח, מהם הסיכונים, ואיך אנחנו יכולים להגן על עצמנו ועל העסקים שלנו."
הבעיה הגדולה ביותר היא שארגונים רבים עדיין רואים בבינה מלאכותית תוספת, ולא משהו שמשנה באופן מהותי את אופן הגישה והחשיפה לנתונים, אומר פיטרס. "יש הנחה שלספקים יש את הכל תחת שליטה."
עם זאת, המציאות היא שבינה מלאכותית אינה יושבת במגורים נפרדים, הוא אומר. "היא משפיעה על הכל. הקישוריות ההדדית הזו היא בדיוק מה שהופך אותה לכל כך מסוכנת ללא הבקרות הנכונות."
ככל שבינה מלאכותית משולבת עמוק בחבילות ליבה של פרודוקטיביות, הסיכונים הנלווים גדלים משמעותית, אומר ריאה. "מערכות בינה מלאכותית, שאינן מתפקדות עוד ככלים מבודדים, מתפתחות לשכבות נרחבות המוטמעות ביישומים, ממשקי API וערוצי תקשורת. שילוב נרחב זה מרחיב את הפוטנציאל לשימוש לרעה, חשיפת נתונים בשוגג ודליפה."
אם לא ייעשה דבר כדי לטפל בבעיה כעת, המצב יחמיר. ככל שהטכנולוגיה תתפתח, בינה מלאכותית תיגע ביותר נתונים, מערכות וזרימות עבודה, ותרחיב משמעותית את משטחי התקיפה הפוטנציאליים, אומר תומפסון.
במקביל, עסקים יצטרכו להתמודד עם שיטות תקיפה מתוחכמות יותר ויותר בהן משתמשים יריבים. "התוקפים יעברו ממיקוד גרידא בקוד ותשתיות להתמקדות בהתנהגות הבינה המלאכותית עצמה", מזהיר תומפסון.
כל זה יהפוך את ניהול הבינה המלאכותית למורכב יותר ויותר, וידרוש מצוותים מכל רחבי העסק לעבוד יחד כדי לפקח על תאימות ולהתגבר על איומים פוטנציאליים, מוסיף תומפסון.
חיזוק אסטרטגיות ניהול בינה מלאכותית
קודם כל, EchoLeak הוא קריאת השכמה, אומר תומפסון. "זה לא רק עניין של תיקון הפגיעות ולהמשיך הלאה. ארגונים חייבים לשקול מחדש הן את היקף והן את אופן שילוב הבינה המלאכותית במערכות קריטיות לעסקים."
עם מספר הולך וגדל של כלי ויישומי בינה מלאכותית שיוצאים לשוק, עסקים צריכים לפעול במהירות. זה כרוך ב"צעד קדימה משמעותי" באופן שבו חברות ניגשות לממשל בינה מלאכותית, אומר פיטרס. "משעמם ככל שזה נשמע, זה כולל דברים כמו סיווג נתונים ברור, בקרות גישה חזקות יותר, ניטור טוב יותר, ובעיקר, הכשרת הצוות שלך להבין כיצד כלים אלה מתנהגים."
שווה לשקול את NIST מסגרת ניהול סיכונים בינה מלאכותית, אשר יסייעו לחברות לממש את יתרונות הטכנולוגיה תוך הפחתת הסיכונים שלה. תקני ISO 42001:2023 המסגרת מציעה גם כיצד ליצור ולתחזק מערכות ניהול בינה מלאכותית באחריות בתוך ארגונים.
"ממשל יעיל לא יכול להיות מחשבה שלאחר מעשה. אם כן, כבר נכשלתם", אומר פיטרס. "כדי שמשילות תגן על העסק שלכם ביעילות, היא חייבת להיות מובנית באסטרטגיות הסיכון והתאימות שלכם מההתחלה", הוא מייעץ.
"אף עסק לא יכול להרשות לעצמו לומר 'לא בינה מלאכותית'. כולנו רוצים לרתום את היתרונות, אבל זה חייב להיעשות באחריות", מסביר פיטרס.
משמעות הדבר היא לשאול שאלות קשות לגבי היכן נמצאים הנתונים שלכם, כיצד הם זורמים דרך העסק שלכם והספקים שלכם, ולמי - או מה - יש גישה אליהם.
"הדאגה שלי היא שאם עסקים לא יקדימו את זה עכשיו, הם ימצאו את עצמם מגיבים כל הזמן לאירועים, במקום למנוע אותם", אומר פיטרס. "מנקודת מבט עסקית, עם קצב פיתוח הבינה המלאכותית, זה יהפוך במהרה לבלתי בר קיימא."
