בעולם שבו מודלי שפה גדולים (LLM) הולכים ומשתלבים עמוק יותר בחיי היומיום שלנו, היכולת שלהם לייצג מגוון רחב של דעות ופרספקטיבות אנושיות הופכת לקריטית. האם מודל ה-AI שאנו משוחחים איתו מסוגל להבין ולהציג תפיסות עולם מגוונות, או שהוא מוטה כלפי דעות של קבוצות מסוימות? שאלה זו עומדת במרכז מחקר חדש שפורסם על ידי חברת אנתרופיק (Anthropic), המובילה את הדרך בפיתוח AI בטוח ואחראי.

הטיה גלובלית במודלי שפה: כיצד אנתרופיק מודדת זאת?

המחקר של אנתרופיק מתמודד עם אתגר מהותי: מודלי שפה עלולים שלא לייצג באופן שוויוני ומגוון את הדעות הסובייקטיביות של אוכלוסיות שונות ברחבי העולם, במיוחד בנוגע לסוגיות חברתיות מורכבות. כדי להתמודד עם אתגר זה, פיתחה החברה מסגרת כמותית חדשנית המאפשרת להעריך לדעותיהם של מי דומות יותר התגובות שמייצר מודל ה-AI.

בשלב הראשון, יצרו החוקרים מערך נתונים ייחודי בשם GlobalOpinionQA. מערך זה מורכב משאלות ותשובות שנאספו מסקרים בינלאומיים חוצי מדינות, שתוכננו במיוחד כדי ללכוד מגוון רחב של דעות על נושאים גלובליים ממדינות שונות. לאחר מכן, הגדירו החוקרים מדד המכמת את מידת הדמיון בין תגובות סקרים שנוצרו על ידי ה-LLM לבין תגובות אנושיות, תוך התניה על המדינה הרלוונטית.

ממצאי המחקר: תמונת מצב מדאיגה

באמצעות המסגרת שפיתחו, ביצעו החוקרים שלושה ניסויים מרכזיים על LLM שאומן להיות מועיל, כן ולא מזיק, תוך שימוש בגישת AI חוקתי (Constitutional AI). הממצאים שופכים אור על הטיה מובנית וחוסר ייצוג במודלים הקיימים:

  • הטיה מובנית כברירת מחדל: כברירת מחדל, תגובות ה-LLM נטו להיות דומות יותר לדעות של אוכלוסיות מסוימות, בעיקר מארה"ב ומכמה מדינות באירופה ובדרום אמריקה. ממצא זה מדגיש את פוטנציאל ההטיות המשמעותי שטמון במודלים ומעלה חשש בנוגע לייצוגן של תרבויות ופרספקטיבות אחרות.
  • שינוי פרספקטיבה עם סכנה לסטריאוטיפים: כאשר החוקרים הנחו (prompt) את המודל להתחשב בפרספקטיבה של מדינה ספציפית, התגובות אכן השתנו והפכו דומות יותר לדעות של האוכלוסיות המבוקשות. עם זאת, כאן טמונה סכנה: תגובות אלו עלולות לשקף סטריאוטיפים תרבותיים מזיקים במקום ייצוג אמיתי ומורכב.
  • השפעת שפה מוגבלת: תרגום שאלות ה-GlobalOpinionQA לשפת יעד מסוימת לא הבטיח בהכרח שתגובות המודל יהיו דומות ביותר לדעותיהם של דוברי השפות הללו. זהו ממצא חשוב המראה שגם אם המודל מגיב בשפה המקומית, הוא עדיין עלול לא לייצג את דעתם של דובריה.
"המחקר שלנו מדגיש עד כמה מודלי שפה עלולים לשקף הטיות תרבותיות וגיאוגרפיות, מה שדורש התייחסות דחופה מצד מפתחי ומטמיעי AI", מציינים החוקרים. "היכולת של מודל להתחשב במגוון פרספקטיבות היא אבן יסוד בפיתוח AI אחראי והוגן."

קריאה לשקיפות ולפיתוח אחראי

ממצאי המחקר מדגישים את החשיבות הקריטית של פיתוח AI אחראי, כזה שאינו משכפל או מגביר הטיות קיימות. היכולת של LLM להשפיע על תהליכי קבלת החלטות, להפיץ מידע ולעצב נרטיבים ציבוריים, מחייבת אותנו לוודא שהם עושים זאת באופן הוגן ומייצג.

אנתרופיק, מתוך מחויבותה לשקיפות ולשיתוף ידע, משחררת את מערך הנתונים GlobalOpinionQA לשימוש הקהילה הרחבה, ומזמינה חוקרים נוספים להשתמש בו ולהמשיך לבנות עליו. בנוסף, החברה מספקת כלי ויזואליזציה אינטראקטיבי שיאפשר לכל אחד לבחון את הנתונים לעומק. יוזמות מסוג זה הן חיוניות כדי להבטיח שמודלי ה-AI של המחר יהיו בטוחים יותר, מובנים יותר ויתאימו לערכים גלובליים מגוונים.