פרשנות AI

12 כתבות בנושא זה

29 במאי 2025

אנתרופיק משחררת כלים בקוד פתוח לפענוח מעגלי חשיבה במודלי שפה

אנתרופיק, חברת מחקר ופיתוח בתחום ה-AI המתמקדת בבטיחות ובינה מלאכותית אחראית, שחררה כלים חדשים בקוד פתוח המאפשרים לנתח את "מעגלי החשיבה" הפנימיים בתוך מודלי שפה גדולים (LLM). הכלים הללו, שפותחו במסגרת מחקר הפרשנות של החברה, מאפשרים ליצור "גרפי ייחוס" (attribution graphs) שמפרטים את השלבים שהמודל עבר בדרכו לפלט מסוים. מהלך זה נועד להנגיש לקהילה הרחבה את היכולת לנתח, להבין ולשפר את פעולתם הפנימית של מודלי שפה, ובכך לקדם את בטיחותם ואמינותם.

קרא עוד

25 באוקטובר 2024

אנתרופיק חושפת: האם ניתן 'לנווט' את הטיות מודלי ה-AI מבפנים?

מחקר חדש מבית אנתרופיק (Anthropic) בוחן את טכניקת 'ניווט תכונות' (feature steering), שיטה המאפשרת להתערב במרכיבים פנימיים וניתנים לפרשנות של מודלי שפה גדולים (LLM) דוגמת Claude 3 Sonnet. המטרה היא לבדוק כיצד ניתן למתן הטיות חברתיות מבלי לפגוע ביכולות הכלליות של המודל. הממצאים הראו קיום 'נקודה אופטימלית' (sweet spot) לניווט, ואף זיהוי של 'תכונת ניטרליות' שמפחיתה הטיות רבות. יחד עם זאת, המחקר חשף גם אתגרים כמו 'השפעות בלתי צפויות' (off-target effects) והצביע על מורכבות ההשפעה של תכונות על פלטי המודל, מה שמדגיש את הצורך בהערכה זהירה לפני הטמעת השיטה בפועל.

קרא עוד

16 באוקטובר 2024

לפרק את הקופסה השחורה: אנתרופיק מציגה כלי חדש להבנת מודלי AI

אנתרופיק (Anthropic), חברת מחקר ובטיחות AI מובילה, הציגה לאחרונה עבודה מתפתחת מצוות הפרשנות שלה, המציגה גישה חדשנית לשימוש במאפייני למידת מילון (dictionary learning features) כמסווגים. המחקר, שנועד לקדם את היכולת לבנות מערכות AI אמינות, ניתנות לפרשנות ושליטה, מהווה צעד חשוב בהבנת המנגנונים הפנימיים של מודלים מורכבים. זוהי התפתחות קריטית במאמץ לפענח את ה'קופסה השחורה' של הבינה המלאכותית, ולאפשר למפתחים ולחוקרים להבין טוב יותר כיצד מודלי שפה גדולים (LLMs) מגיעים למסקנותיהם, ובכך לתרום לבניית AI אחראי ובטוח יותר.

קרא עוד

6 בספטמבר 2024

מאחורי הקלעים של AI: אנתרופיק חושפת תובנות מפרשנות מודלים

חברת אנתרופיק, המובילה במחקר בטיחות AI, פרסמה עדכון על עבודתה בפיתוח מערכות בינה מלאכותית אמינות, ניתנות לפרשנות ושליטה. העדכון חושף רעיונות ראשוניים ותובנות מתפתחות מצוות ה'פרשנות' שלה, ומהווה הצצה נדירה למאמציה לפענח את 'הקופסה השחורה' של מודלי שפה גדולים. בנוסף, החברה שיתפה ממצאים מדד ה-AI הכלכלי שלה והכריזה על השקת בלוג מדעי חדש, המרחיב את מגוון תחומי המחקר שהיא מקדמת.

קרא עוד

31 ביולי 2024

Circuits Updates: אנתרופיק חושפת הצצות ראשוניות למחקר הליבה שלה בפרשנות AI

אנתרופיק, חברת מחקר ובטיחות AI מובילה, מחוייבת לבנות מערכות בינה מלאכותית אמינות, פרשניות וניתנות לשליטה. במסגרת עדכוני Circuits, החברה משתפת תובנות וממצאים ראשוניים מצוות הפרשנות שלה, המציעים הצצה ייחודית לעבודתם המתמשכת. הדיווחים כוללים הן כיווני מחקר חדשים שעתידים להתפרסם בהרחבה, והן נקודות עניין קטנות יותר, במטרה לקדם שקיפות ולעודד דיון בקהילת המחקר. גישה זו מדגישה את חשיבות שיתוף הידע המוקדם בפיתוח AI אחראי.

קרא עוד

23 במאי 2024

קלוד שער הזהב: אנתרופיק מציגה הצצה נדירה ל'תודעת' מודלי AI

חברת אנתרופיק (Anthropic) הציגה לאחרונה מחקר פורץ דרך בנושא פרשנות מודלי שפה גדולים (LLM), במסגרתו חשפה את יכולתה למפות ולשלוט ב"תכונות" (features) ספציפיות במוחו של המודל Claude 3 Sonnet. החוקרים הצליחו לזהות אוסף נוירונים המופעל כתגובה לגשר שער הזהב, ולאחר מכן הגבירו את הפעלת תכונה זו באופן מלאכותי. כתוצאה מכך, קלוד החל למקד את כל תגובותיו בנושא הגשר, גם כשלא היה רלוונטי. המודל, שכונה "קלוד שער הזהב", הועמד לזמן קצר לרשות הציבור כהדגמת מחקר, במטרה להדגים את ההשפעה של עבודת הפרשנות על התנהגות מודלי AI ואת הפוטנציאל שלה לשיפור בטיחותם.

קרא עוד

5 באוקטובר 2023

לפרק את מודלי השפה: אנתרופיק חושפת יחידות חשיבה נסתרות ב-AI

חברת אנתרופיק (Anthropic), המובילה בתחום בטיחות ה-AI, פרסמה לאחרונה מחקר פורץ דרך המציע דרך חדשה לנתח ולהבין את מודלי השפה הגדולים (LLM). במקום להתמקד בנוירונים בודדים, המחקר מציג שיטה לפרק מודלי טרנספורמר קטנים ליחידות ניתוח מובחנות הנקראות 'פיצ'רים'. פיצ'רים אלו מייצגים שילובים לינאריים של פעילות נוירונים ומאפשרים לחשוף תכונות מודל ספציפיות ונסתרות, כמו זיהוי רצפי DNA או שפה משפטית, ובכך מקדמים את היכולת שלנו להבין וליישר מערכות AI מורכבות.

קרא עוד

5 באוקטובר 2023

מאחורי הקלעים של ה-AI: אנתרופיק מציגה שיטה לפירוק מודלי שפה

אנתרופיק, חברת מחקר ובטיחות AI מובילה, מפתחת מערכות בינה מלאכותית אמינות, ניתנות לפרשנות ולשליטה. במסגרת מאמציה להבטיח את בטיחות ורמת האחריות של AI, החברה פרסמה מחקר פורץ דרך המציג שיטה לפירוק מודלי שפה גדולים לרכיבים מובנים. גישה זו, הנקראת 'למידת מילון', מאפשרת זיהוי של 'תכונות' ספציפיות בתוך הרשתות הנוירוניות, ובכך פותחת פתח להבנה מעמיקה יותר של פעולתם הפנימית. הבנה זו קריטית לאבחון כשלים, תיקונם, והבטחת שהמודלים בטוחים ואמינים לשימוש רחב היקף.

קרא עוד

8 באוגוסט 2023

אנתרופיק חושפת: כך מודלי שפה גדולים מכלילים ידע – הצצה אל מאחורי הקלעים

אנתרופיק (Anthropic), חברת מחקר ו-AI safety מובילה, מפרסמת מחקר חדש שמציע כלי פורץ דרך להבנת דפוסי ההכללה של מודלי שפה גדולים (LLMs). באמצעות הרחבת השימוש ב"פונקציות השפעה" (influence functions) בעזרת קירוב חדשני בשם EK-FAC, הצליחו החוקרים להאיץ משמעותית את ניתוח השפעתם של נתוני אימון על התנהגות המודל. המחקר חשף תובנות מפתיעות לגבי יכולות הכללה במגוון תחומים – מחשיבה מופשטת ועד קידוד – ואף זיהה מגבלה משמעותית בהבנת שינויים בסדר ביטויים. ממצאים אלו משפרים את הבנתנו על אופן פעולתם של LLMs ותורמים לפיתוח AI בטוח ואמין יותר.

קרא עוד

18 ביולי 2023

אנתרופיק חושפת: האם שרשרת החשיבה של מודלי שפה באמת כנה?

מודלי שפה גדולים (LLM) מציגים ביצועים טובים יותר כאשר הם מפרטים תהליך חשיבה מפורט, הידוע כ'שרשרת חשיבה' (CoT), לפני מתן תשובה. אולם, מחקר חדש של אנתרופיק בוחן האם תהליך חשיבה זה משקף נאמנה את ההיגיון הפנימי האמיתי של המודל. החוקרים מצאו כי רמת הנאמנות משתנה מאוד בין משימות שונות, וכי מודלים גדולים ובעלי יכולות גבוהות יותר נוטים להציג פחות נאמנות. התוצאות מצביעות על כך שאפקטיביות ה-CoT אינה נובעת רק מחישוב נוסף או מניסוח ספציפי, וכי ניתן להשיג שרשרת חשיבה נאמנה אם נבחרים בקפידה גודל המודל והמשימה.

קרא עוד

24 במאי 2023

אנתרופיק חושפת: הצצה מתקדמת למחקר פרשנות מודלי ה-AI

אנתרופיק, חברת מחקר ובטיחות מובילה בתחום ה-AI, מתמקדת בפיתוח מערכות בינה מלאכותית אמינות, ניתנות לפרשנות וניתנות לשליטה. במסגרת "עדכוני Circuits", החברה חולקת רעיונות מתפתחים מצוות הפרשנות שלה. הדיווח כולל הן קווי מחקר מתפתחים שצפויים להתפרסם בהרחבה בהמשך, והן נקודות פחות מהותיות שראוי לחשוף. מטרת השיתוף היא להרחיב את השיח בקהילת המחקר ולספק תובנות מתמשכות לעוסקים בתחום.

קרא עוד

5 בינואר 2023

הצצה פנימה: סופרפוזיציה, שינון וירידה כפולה במודלי AI

חברת אנתרופיק (Anthropic), מובילה במחקר בטיחות AI, פרסמה מחקר ראשוני המעמיק בתופעות מורכבות במודלי למידה עמוקה: סופרפוזיציה, שינון וירידה כפולה (Double Descent). המחקר, שהתבצע על רשתות נוירוניות פשוטות, מגלה כי מודלים מציגים דפוסים שונים של ייצוג מידע בהתאם לגודל קבוצת הנתונים. נמצא כי מצבי זליגת יתר (overfitting) מאופיינים באחסון נקודות נתונים בסופרפוזיציה, בעוד שמצבי הכללה (generalization) מאחסנים תכונות (features) באותה הדרך, תוך כדי מעבר המתבטא בתופעת ה-Double Descent.

קרא עוד