ככל שיכולות ה-AI מתקדמות במהירות, כך עולה חשיבות ההבנה והטיפול במגוון המלא של ההשפעות הפוטנציאליות. אנתרופיק (Anthropic) חושפת היום הצצה לגישה המתפתחת שלה להערכה וצמצום נזקים שונים שעשויים לנבוע ממערכות ה-AI שלה – החל מתרחישים קטסטרופליים כמו איומים ביולוגיים, ועד חששות קריטיים כמו בטיחות ילדים, דיסאינפורמציה והונאות. אנו מאמינים כי התייחסות לסוגי נזקים שונים באופן מובנה מסייעת לנו להבין טוב יותר את האתגרים העומדים בפנינו ומעצבת את חשיבתנו לגבי פיתוח AI אחראי.

גישה זו משלימה את מדיניות הסקיילינג האחראי (RSP) שלנו, המתמקדת ספציפית בסיכונים קטסטרופליים. המסגרת המקיפה החדשה שבנינו נועדה להעריך נזקים על פני מספר ממדי בסיס: השפעות פיזיות, פסיכולוגיות, כלכליות, חברתיות והשפעות על אוטונומיה אישית. עבור כל ממד, אנו בוחנים גורמים כמו סבירות, קנה מידה, אוכלוסיות מושפעות, משך זמן, סיבתיות, תרומת הטכנולוגיה ויכולת המיתון.

בהתאם לסוג הנזק וחומרתו, אנו מטפלים בסיכונים ומנהלים אותם באמצעות מגוון מדיניות ופרקטיקות, כולל פיתוח ותחזוקת מדיניות שימוש מקיפה, עריכת הערכות (כולל Red Teaming ובדיקות יריבתיות) לפני ואחרי השקה, טכניקות זיהוי מתוחכמות לאיתור שימוש לרעה והתעללות, וכן אכיפה חזקה החל משינויי פרומפטים ועד חסימת חשבונות. לדוגמה, כאשר מודלי ה-AI פיתחו יכולות 'שימוש במחשב', הטמענו אמצעי הגנה מפני הונאות; ובחינת 'גבולות תגובת המודל' של Claude 3.7 Sonnet, הובילה להפחתה של 45% בסירובים מיותרים תוך שמירה על אמצעי הגנה חזקים מפני תוכן מזיק באמת.

הגישה שלנו עדיין מתפתחת. אנו משתפים את חשיבתנו הנוכחית ומכירים בכך שהיא תמשיך להתפתח ככל שנלמד יותר. אנו מברכים על שיתוף פעולה מכלל האקוסיסטם של ה-AI במטרה להפוך את המערכות הללו לתועלת האנושות.

אנו מחויבים לפתח את גישתנו לצד ההתפתחויות הטכנולוגיות, כולל התאמת המסגרות שלנו, חידוד שיטות ההערכה ולמידה מהצלחות וכישלונות לאורך הדרך. אנו מזמינים חוקרים, מומחי מדיניות ושותפים בתעשייה לשתף איתנו פעולה בזמן שאנו ממשיכים לחקור שאלות חשובות אלו. תוכלו ליצור איתנו קשר בנושאים אלו באמצעות usersafety@anthropic.com.

תוכן קשור

Australian government and Anthropic sign MOU for AI safety and research

Anthropic invests $100 million into the Claude Partner Network
אנו משיקים את ה-Claude Partner Network, תוכנית עבור ארגונים שותפים המסייעים לארגונים לאמץ את קלוד.

Introducing The Anthropic Institute
אנו משיקים את The Anthropic Institute, מאמץ חדש להתמודד עם האתגרים המשמעותיים ביותר ש-AI עוצמתי יציב לחברות שלנו.