לא הרבה חברות יכולות לבד למחוק שווי שוק של טריליון דולר משוק המניות האמריקאי. אבל זה בדיוק מה שסטארט-אפ סינית בינה מלאכותית DeepSeek מנוהל בסוף ינואר לאחר הצגת מודל חדש שלטענתו פועל בחלק מהעלות של OpenAI עם תוצאות דומות. מאז, השווקים התאוששו, והופיעו חדשות על בעיות אבטחה ופרטיות חמורות עם מודל השפה הגדולה DeepSeek-R1 (LLM) והאפליקציה החזיתית של החברה.
אבל לפני ש-CISO מושכים בכתפיים וממשיכים הלאה, בואו נשים את זה בהקשר. רק בגלל שהטכנולוגיה של DeepSeek סומנה בסיכון גבוה, לא אומר שדגמים אחרים חסרי תקלות לחלוטין. צוותי אבטחה עשויים להזדקק לתקני שיטות עבודה מומלצות כדי לעזור להם לנווט בסיכון במרחב המתפתח במהירות.
מה רע ב-DeepSeek?
לפי חתיכת מחקר אחת, ל-DeepSeek-R1 יש שתי בעיות עיקריות:
- זה פגיע ל"פריצת כלא" באמצעות הזרקה מיידית. במילים אחרות, על ידי הזנת הנחיות ספציפיות, משתמשים יכולים לעקוף את מעקות הבטיחות המובנים שהוכנסו על ידי מפתחי DeepSeek - וכתוצאה מכך כמה פלטים לא אתיים ומסוכנים בעליל. לדוגמה, כאשר חוקרי קלע הניעו את ה-LLM לאמץ פרסונה "מרושעת", נקייה ממגבלות אתיות או בטיחותיות, היא הייתה די שמחה לספק תסריט תוכנה זדונית של גניבת מידע, הצעות לאילו שווקי פשעי סייבר לבקר, ואפילו הדרכה ליצירת מזל"ט מתאבד.
- הוא נוטה ל"הזיות" – למשל, מתן כשהתבקשה רשימה של מידע אישי על עובדי OpenAI בכירים, שהיה שקרי
מחקר נפרד מ EncryptAI מאשרת ש-DeepSeek נוטה לספק מידע מוטעה ותוכן מזיק. הוא טוען שהדגם הוא:
- מוטה פי 3 מקלוד-3 אופוס
- פגיע פי 4 ליצירת קוד לא מאובטח מאשר O1 של OpenAI
- רעיל פי 4 מ-GPT-4o
- סבירות גבוהה פי 11 לייצר פלט מזיק לעומת OpenAI O1
- סבירות גבוהה פי 3.5 לייצר תוכן כימי, ביולוגי, רדיולוגי וגרעיני (CBRN) מאשר OpenAI O1 ו-Claude-3 Opus
חששות נוספים בנוגע לאבטחת התשתית האחורית של DeepSeek הופיעו לאחר ספק אבטחה אחד גילה מסד נתונים נגיש לציבור השייך לחברה, חושף נתונים רגישים ביותר, כולל זרמי יומן, סודות API ופרטים תפעוליים.
ניתוח נפרד מ-SecurityScorecard חושף שורה של בעיות אבטחה ופרטיות עם אפליקציית DeepSeek Android, כולל:
- אבטחה חלשה, כגון מפתחות הצפנה מקודדים, אלגוריתמים חלשים של הצפנה וסיכוני הזרקת SQL
- איסוף נתונים רחב מדי על משתמשים, כולל קלט, פרטי מכשיר ודפוסי הקשות, כולם מאוחסנים בשרתים בסין
- שיתוף נתונים לא נחשף עם ארגונים ממשלתיים סיניים ועם ByteDance האב של TikTok, ומדיניות פרטיות מעורפלת
טכניקות נגד איתור באגים הנפרסות בדרך כלל כדי לבלום ניתוח אבטחה.
הרמת המכסה על סיכוני LLM
עם זאת, בעוד שדגמים מתחרים כמו של OpenAI נחשבים בטוחים בהרבה, זה יהיה טיפשי להניח שהסיכונים המודגשים על ידי DeepSeek-R1 אינם קיימים במקומות אחרים.
"אין לנצל את תקרית ה-DeepSeek המתפתחת כסיבה נוחה לשכוח פתאום מהפרות חמורות וסיכונים הקשורים לבינה מלאכותית הנשקפים על ידי ספקים אחרים של GenAI. אחרת, אנחנו מפספסים את היער בשביל העצים", טוענת מנכ"ל ImmuniWeb, שותפה לאבטחת סייבר ב-Plat Law ופרופסור באוניברסיטת קפיטול, איליה קולוצ'נקו.
בין אם ארגונים משתמשים ב-LLM של צד שלישי כמו DeepSeek או מפתחים/מכוונים אחד בתוך הבית, הם חייבים להיות מודעים לאופן שבו זה יכול להרחיב את משטח ההתקפה הארגוני. נקודות סיכון פוטנציאליות כוללות את המודל עצמו, הנתונים שעליהם הוא מאומן, כל ממשקי API, ספריות קוד פתוח של צד שלישי, יישומים חזיתיים ותשתית ענן אחורית.
OWASP הידור a 10 המובילים ליישומי LLM פירוט בעיות האבטחה העיקריות - שחלקן השפיעו על DeepSeek. אלה הם:
- פגיעות בהזרקה מהירה אשר ניתן לנצל על ידי יצירת תשומות ספציפיות כדי לשנות את התנהגות הדגם, תוך עקיפת תכונות בטיחות.
- חשיפת מידע רגיש שעשויים לכלול סודות ארגוניים או נתוני לקוחות.
- נקודות תורפה בשרשרת האספקה, כגון באגים ברכיבי קוד פתוח, שעלולים להיות מנוצלים כדי ליצור פלטים לא מכוונים, לגנוב נתונים רגישים או לגרום לכשל במערכת.
- הרעלת נתונים ומודלים, היכן שעושים מניפולציות של אימון מקדים, כוונון עדין או הטבעה כדי להציג פגיעויות, דלתות אחוריות או הטיות.
- טיפול בפלט לא תקין, כתוצאה מאימות, חיטוי וטיפול לא מספיקים, שעלולים להוביל להזיות או להחדרת פרצות אבטחה.
- סוכנות מוגזמת נובע מעודף פונקציונליות, הרשאות ו/או אוטונומיה ועלול להוביל לשורה של תוצאות שליליות, כולל הפרות ובעיות ציות.
- דליפה מיידית של המערכת, מה שמתרחש כאשר הנחיות מערכת מכילות מידע רגיש, מה שמאפשר לתוקפים להשתמש בנשק לתובנה זו.
- חולשות וקטור והטבעה הם ספציפיים למערכות LLM המשתמשות ב-Retrieval Augmented Generation (RAG) ויכולים להיות מנוצלים כדי להחדיר תוכן מזיק, לתפעל פלטי מודל או לגשת למידע רגיש.
- מֵידָע מְפוּבּרָק, שנובע בעיקר מהזיות.
- צריכה בלתי מוגבלת, שנובע מ"הסקות מוגזמות ובלתי מבוקרות" ועלול להוביל למניעת שירות.
האם ISO 42001 יכול לעזור?
החדשות הטובות הן שארגוני CISO המחפשים לרתום את הכוח של LLMs בתוך הפעילות שלהם ו/או לספק ללקוחות יכולים לעשות זאת באופן שמפחית את הסיכונים הללו, הודות לסטנדרט חדש פורץ דרך. ISO 42001 מספק מסגרת להקמה, יישום, תחזוקה ושיפור מתמיד של מערכת ניהול בינה מלאכותית (AIMS). מכסה את כל מחזור החיים של מערכות בינה מלאכותית, זה עוזר לארגונים:
- להטמיע עקרונות אתיים ב-AI כדי למנוע הטיה ולכבד את זכויות האדם
- הגבר את השקיפות של מערכות AI ואלגוריתמים על מנת להניע אמון ואחריות
- זהה, העריך והפחת סיכונים כמו אלה המודגשים על ידי OWASP ונמצאים ב-DeepSeek
- שפר את התאימות על ידי התאמת פעולות בינה מלאכותית למסגרות חוקיות ורגולטוריות קיימות
- לטפח תרבות של שיפור מתמיד בניהול מערכות בינה מלאכותית
קולוצ'נקו אומר ל-ISMS.online שתקנים כאלה אינם תרופת פלא אבל יכולים לשרת מטרה חשובה.
"התקן החדשני ISO 42001 בהחלט יביא ערך למילוי הוואקום הרגולטורי בתחום הבינה המלאכותית, אם כי תקריות הקשורות בבינה מלאכותית - כולל תקריות חמורות מאוד - ככל הנראה ימשיכו לגדול באופן אקספוננציאלי", הוא טוען.
קוריאן קנדי, מנהל תובנות ואיומים בכירים ב-SecurityScorecard, הולך רחוק יותר.
"גם ISO 42001 וגם ISO 27001 מספקים מסגרות ממשל ואבטחה שעוזרות להפחית סיכונים מאפליקציות צד שלישי לא מאובטחות כמו DeepSeek ו-LLMs בסיכון גבוה - בין אם בנויים חיצוניים או פנימיים", הוא אומר ל-ISMS.online.
"יחד, הם עוזרים להפחית סיכונים ממודלים של AI לא מאובטחים על ידי אכיפת ממשל קפדני, חיזוק תאימות לרגולציה כדי למנוע חשיפה לא מורשית של נתונים, ואבטחת מערכות AI פנימיות עם בקרות גישה, הצפנה ובדיקת נאותות של ספקים."
עם זאת, קנדי מציין כי בעוד ש-ISO 42001 יכול לספק "בסיס מוצק לאבטחת AI, פרטיות וממשל", הוא עשוי להיעדר סיכון עסקי הקשרי.
"לכן, באחריותם של אנשי הגנת הסייבר ליישם בקרות נוספות בהתבסס על ההקשר של נוף האיומים ובתמיכה בעסק", הוא טוען.
