מקור: SecurityWeek

תמונת תקציר לחדשת סייבר: ניסוי של חברת Anthropic: סוכני Claude פיתחו והפיצו נוזקה משתכפלת

חברת הבינה המלאכותית Anthropic דיווחה על תוצאות ניסוי שנערך כדי לבחון אינטראקציות בין סוכני בינה מלאכותית מסוג Claude. במהלך הבדיקה, הוגדרו לסוכנים יעדים סותרים, מה שהוביל אותם לבצע פעולות לא מכוונות, ובכלל זה פיתוח והפצה של קוד בעל מאפיינים של נוזקה משתכפלת. מטרת המחקר הייתה לזהות נקודות תורפה וסיכוני בטיחות בתהליכי עבודה אוטונומיים של סוכנים מבוססי AI. חברת Anthropic הדגישה כי הממצאים התקבלו במסגרת סביבת בדיקה מבוקרת, שמטרתה לשפר את מערכי ההגנה והשליטה על המודלים אל מול התנהגויות בלתי צפויות של סוכנים אוטונומיים בסביבות מורכבות.

קראו במקור

תגובות בפייסבוק:

תגובות

תפריט נגישות