חדשות

כל החדשות, העדכונים וההכרזות האחרונות מאנתרופיק ומעולם הבינה המלאכותית

אבטחת מודלי AI חזיתיים: אנתרופיק קוראת לחיזוק ההגנה מפני גניבה ושימוש לרעה

אבטחת מודלי AI חזיתיים: אנתרופיק קוראת לחיזוק ההגנה מפני גניבה ושימוש לרעה

אנתרופיק (Anthropic), חברת מחקר ובטיחות AI מובילה, מפרסמת קריאה דרמטית לחיזוק אבטחת הסייבר של מודלי בינה מלאכותית חזיתיים (frontier AI models), בטענה שהם מהווים תשתית קריטית עם פוטנציאל להשפיע על ביטחון לאומי וכלכלה גלובלית. החברה קוראת למעבדות AI ולממשלות לאמץ באופן מיידי שיטות עבודה מחמירות, בהן מנגנון 'בקרת שני גורמים' (two-party control) ותקני פיתוח תוכנה מאובטח כמו NIST SSDF ו-SLSA. אנתרופיק מציעה לטפל במגזר ה-AI המתקדם כמגזר תשתית קריטית, עם דגש על שיתוף פעולה הדוק בין המגזר הציבורי לפרטי, על מנת למנוע גניבה או שימוש לרעה במודלים. החברה מצהירה כי היא עצמה מיישמת בקרות אבטחה מתקדמות במודלי Claude שלה.

8 במרץ 2023קרא עוד
אנתרופיק מקימה נאמנות חדשה: להבטיח את עתיד ה-AI לטובת האנושות
8 במרץ 2023

אנתרופיק מקימה נאמנות חדשה: להבטיח את עתיד ה-AI לטובת האנושות

אנתרופיק, חברת מחקר ובטיחות בינה מלאכותית מובילה, חושפת מנגנון ממשל תאגידי חדש בשם "נאמנות לטובת הטווח הארוך" (Long-Term Benefit Trust – LTBT). המבנה החדשני נועד ליישר את מטרות החברה עם המשימה לפתח מודלי AI מתקדמים שיהיו בטוחים, ניתנים לפרשנות וניתנים לשליטה, למען טובת האנושות בטווח הארוך. ה-LTBT יעניק לנאמנים עצמאיים סמכות משמעותית בדירקטוריון, ויבטיח איזון בין אינטרסים מסחריים לבין שיקולי בטיחות ורווחה ציבורית, במיוחד עבור סיכונים אקסטרימיים הנובעים מפיתוח מודלי חזית של AI. זהו ניסוי מהפכני בממשל תאגידי בעולם הבינה המלאכותית.

קרא עוד
אנתרופיק בוחרת ב-Google Cloud להרחבת פיתוח ה-AI הבטוח שלה
3 בפברואר 2023

אנתרופיק בוחרת ב-Google Cloud להרחבת פיתוח ה-AI הבטוח שלה

אנתרופיק (Anthropic), חברת מחקר מובילה המתמקדת בבטיחות וביישור AI, הודיעה על שיתוף פעולה אסטרטגי עם Google Cloud. במסגרת השותפות, אנתרופיק תשתמש בתשתיות הענן המתקדמות של גוגל, הכוללות אשכולות GPU ו-TPU, לצורך אימון, סקיילינג ופריסה של מודלי ה-AI שלה, ובפרט מודל השפה הגדול Claude. המהלך נועד לאפשר לחברה להרחיב את פריסת מערכות ה-AI הבטוחות והניתנות להבנה שלה לקהל רחב יותר, תוך שימוש בטכניקות יישור חדשניות כמו AI חוקתי.

קרא עוד
אנתרופיק חושפת: Red Teaming נגד איומי חזית לבטיחות AI
22 באוגוסט 2022

אנתרופיק חושפת: Red Teaming נגד איומי חזית לבטיחות AI

אנתרופיק (Anthropic), חברת מחקר ובטיחות AI מובילה, מפרסמת ממצאים מדאיגים ממחקר Red Teaming מקיף שביצעה על מודלי חזית (frontier models). המחקר, שהתמקד באיומי אבטחה לאומית כמו סיכונים ביולוגיים ואבטחת סייבר, חשף כי מודלי שפה גדולים (LLM) עלולים להוות איום ביטחוני משמעותי בעתיד הקרוב אם לא יופעלו מנגנוני הגנה (mitigations) מתאימים. למרות הסכנות הפוטנציאליות, אנתרופיק מדגישה כי ניתן לפתח ולפרוס מנגנוני הגנה יעילים כדי להפחית את הסיכונים הללו באופן ניכר. החברה קוראת לשיתוף פעולה ממשלתי ותעשייתי דחוף כדי להרחיב את מאמצי ה-Red Teaming ולבנות AI בטוח ואחראי.

קרא עוד
אנתרופיק מגייסת 580 מיליון דולר בסבב B: תתמקד ב-AI בטוח וניתן להכוונה
29 באפריל 2022

אנתרופיק מגייסת 580 מיליון דולר בסבב B: תתמקד ב-AI בטוח וניתן להכוונה

חברת אנתרופיק, המובילה מחקרים בתחום <strong>בטיחות ה-AI</strong>, הודיעה על השלמת סבב גיוס B בסך 580 מיליון דולר. הגיוס ישמש לבניית תשתית ניסויית רחבת היקף במטרה לשפר את מאפייני ה<strong>בטיחות</strong> של <strong>מודלי AI עתירי חישוב</strong>. אנתרופיק מתמקדת בפיתוח <strong>מודלים</strong> אמינים, <strong>ניתנים לפרשנות</strong> ו<strong>ניתנים להכוונה</strong>, המשלבים <strong>מנגנוני הגנה</strong> מובנים כבר בשלבי האימון ודורשים פחות התערבות לאחר מכן. החברה שואפת לפתח כלים שיאפשרו להבין ולוודא את פעילות מנגנוני ה<strong>בטיחות</strong> הללו, תוך בחינת ההשלכות הרחבות של ה<strong>סקיילינג</strong> על החברה והמדיניות.

קרא עוד
אנתרופיק: השקיעו ב-NIST כדי למדוד ולאבטח את ה-AI
15 בפברואר 2022

אנתרופיק: השקיעו ב-NIST כדי למדוד ולאבטח את ה-AI

חברת אנתרופיק (Anthropic), המובילה בתחום בטיחות ומחקר ה-AI, קוראת לממשל האמריקאי להשקיע משמעותית במכון התקנים הלאומי (NIST). לטענת החברה, יכולת מדויקת למדידה ולכימות של יכולות וסיכוני מערכות AI היא תנאי הכרחי לרגולציה אפקטיבית ובטיחות AI. אנתרופיק מציינת כי NIST, בעל ניסיון רב שנים בפיתוח תקני מדידה, סובל מתת-תקצוב בתחומי ה-AI, מה שמקשה עליו לפתח כלי מדידה ובדיקה חיוניים למודלי AI מתקדמים. הגדלת התקציב תאפשר ל-NIST לבנות תשתית קריטית שתסייע להבטיח מערכות AI בטוחות ואמינות יותר, תקדם אמון הציבור ותעודד חדשנות אחראית בתחום.

קרא עוד
אנתרופיק גייסה 124 מיליון דולר לפיתוח מערכות AI כלליות ואמינות יותר
28 במאי 2021

אנתרופיק גייסה 124 מיליון דולר לפיתוח מערכות AI כלליות ואמינות יותר

חברת המחקר והבטיחות בתחום ה-AI, אנתרופיק (Anthropic), הודיעה על גיוס סבב A בסך 124 מיליון דולר. גיוס ההון נועד לתמוך בחברה בהוצאה לפועל של מפת הדרכים המחקרית שלה ובפיתוח אבות טיפוס של מערכות בינה מלאכותית אמינות, ניתנות לפרשנות ושליטה. אנתרופיק, שהוקמה על ידי בכירים לשעבר מ-OpenAI, שמה דגש מיוחד על בטיחות ה-AI. היא מתמקדת בפיתוח מודלי AI בקנה מידה גדול עם דגש על יישור, פרשנות ושילוב הדוק של משוב אנושי.

קרא עוד