מודלים של החלטות בינה מלאכותית נכנסים לתחום המודרציה של תוכן

Yesterday 16:40

בינה מלאכותית מתרחבת לתחום נוסף של פלטפורמות דיגיטליות כאשר מודלים של החלטות מפותחים יותר ויותר עבור מודרציה של תוכן בזמן אמת. החברה האמריקאית Musubi הציגה את PolicyLM-1.7B, מודל קל שנועד להעריך מסרים מקוונים בהתאם למדיניות המודרציה הכתובה מבלי לדרוש מחזור הכשרה חדש בכל פעם שהכללים הללו משתנים.

שוחרר עם משקלים פתוחים, המודל עם 1.7 מיליארד הפרמטרים נועד לאפשר למפתחים ולמפעילי פלטפורמות להריץ ולהתאים אותו על התשתית שלהם. המטרה העיקרית שלו היא לתרגם כללי מודרציה הכתובים בשפה רגילה לסיווגים שניתן להחיל ישירות על תוכן שנוצר על ידי משתמשים.

Musubi אומרת כי PolicyLM-1.7B יכולה לקבל החלטות מודרציה בזמן אמת, כאשר החברה מדווחת על זמן עיבוד חציוני של כ-35 מילישניות עבור מסרים קצרים על NVIDIA L4 GPU וכ-22 מילישניות על H100 בניסויים שלה. תיאור המוצר הרחב יותר מכוון להחלטות בפחות מ-50 מילישניות.

המודל שונה ממסווגי מודרציה קונבנציונליים בכך שהוא מאפשר למפעילים לספק את ההנחיות המדיניות שלהם במהלך השימוש. זה אומר שכאשר פלטפורמה משנה את הכללים שלה, הצוותים שלה יכולים לשנות את המדיניות במקום להכשיר מחדש את המודל הבסיסי מהתחלה.

גמישות זו עשויה להיות רלוונטית במיוחד לפלטפורמות מקוונות המתמודדות עם סטנדרטים משתנים במהירות של מודרציה. צוותי מוצר וביטחון-אמון יכולים להגדיר קטגוריות וכללים בהתאם לדרישות הספציפיות שלהם, בעוד שהמודל מייצר ציונים המצביעים אם מסר נופל בתוך הקטגוריות הללו.

מודלים של החלטות משכו תשומת לב גוברת בתעשיית הבינה המלאכותית מכיוון שהם מתמקדים בהפקת החלטות או הסתברויות במקום ליצור טקסט ארוך. על ידי הגבלת הפלט לקטגוריות מוגדרות מראש, מערכות אלו עשויות לפעול במהירות רבה יותר ובמשאבים חישוביים פחותים מאשר מודלים של שפה רחבה כללי.

PolicyLM-1.7B יכולה לשמש גם עם טקסונומיה בטיחותית מוגדרת מראש המכילה 23 קטגוריות, כולל אלימות, הטרדה, איומים, הונאה, הפרות פרטיות וצורות אחרות של תוכן פוטנציאלית מזיקה. Musubi אומרת כי המודל הוערך ב-19 שפות, אם כי ניסויי המדיניות המותאמים שלו כללו בעיקר מדיניות שנכתבה באנגלית.

הטכנולוגיה מתבססת על עבודות קודמות בתחום הבינה המלאכותית הממוקדת בהחלטות. מייסד משותף של Musubi ומנהל בינה מלאכותית, פיליפ ינקוביץ', קישר את הגישה של החברה לפרויקט GLiNER בשנת 2024, שפותח לפני העלייה הנוכחית של העניין במודלים של החלטות. החברה רואה כיום במודרציה של תוכן יישום מעשי לאותה גישה בסיסית.

באותו הזמן, המפתחים של המודל מכירים בכך שהטכנולוגיה מיועדת לתרחישי מודרציה ספציפיים ולא לכל סוגי החלטות הבטיחות. תיעוד המודל מציין שהוא נועד לסיווג מהיר של הודעות טקסט בודדות ואינו מיועד לשמש כהגנה בלעדית על מקרים רגישים במיוחד כמו בטיחות ילדים או פגיעות עצמית.

השחרור מגיע כאשר פלטפורמות דיגיטליות מתמודדות עם כמויות הולכות וגדלות של תוכן שנוצר על ידי משתמשים ולחץ גובר לאכוף כללים מפורטים יותר ויותר. כלים אוטומטיים למודרציה יכולים לעזור לעבד כמויות גדולות של חומר, בעוד שהצוותים האנושיים נושאים באחריות להגדיר מדיניות, לבדוק מקרים קשים ולקבוע כיצד יש להחיל החלטות אכיפה.

הגישה של Musubi עם המשקלים הפתוחים גם מאפשרת למפתחים לבדוק ולהפעיל את המודל בעצמם במקום להסתמך באופן בלעדי על שירות מודרציה המנוהל. עם זאת, הנתונים שפורסמו על ביצועי המודל מגיעים מהערכות שלה, ותיעוד המודל מציין שהוא עדיין לא נבדק על תנועה חיה, כלומר הביצועים שלו במציאות עשויים להיות שונים מתוצאות הבדיקות.

ההשקה מדגימה שינוי רחב יותר בהתפתחות הבינה המלאכותית, עם מודלים קטנים ומיוחדים המיועדים לבצע משימות מוגדרות בצורת מהירה ויעילה. עבור מודרציה של תוכן, השילוב של כללים מותאמים, סיווג מהיר והפצה מקומית עשוי לספק לפלטפורמות כלי נוסף לניהול הזרימה המורכבת יותר ויותר של תוכן מקוון.