מקור: The Hacker News

תמונת תקציר לחדשת סייבר: חוקרי אבטחה חשפו פרצה ב-OpenAI המאפשרת חשיפת תהליכי חשיבה מוסתרים של מודלים

חברת האבטחה Xint חשפה פגיעות במנגנון ה-Compaction של OpenAI, המיועד לכיווץ שיחות ארוכות לשם חיסכון בנפח אחסון. על פי המחקר, ניתן לנצל את המנגנון כדי לעקוף את אמצעי ההגנה ולחשוף בטקסט גלוי את תהליכי החשיבה של מודלי הבינה המלאכותית של החברה. כברירת מחדל, המערכת של OpenAI מצפינה את החלק הזה של הפלט ומונעת מהמשתמשים לצפות בדרך שבה המודל מנתח בעיות לפני מתן התשובה הסופית. הגילוי מדגיש את האתגרים באבטחת מידע בתהליכי עיבוד פנימיים של מודלי שפה גדולים, ומצביע על סיכון פוטנציאלי לזליגת מידע רגיש המופק במהלך ניתוח נתונים או פתרון בעיות מורכבות על ידי ה-AI.

קראו במקור

תגובות בפייסבוק:

תגובות

תפריט נגישות