בדיקה בין המודל למשתמש
מודל יוצר עשוי לתת תשובה משכנעת אך שגויה, לסטות מן הנושא או לחשוף בטעות מידע רגיש. Guardrails של Aporia הישראלית מוסיף שכבת בקרה נפרדת בין היישום למשתמש ובוחן את התשובה לפני הצגתה.
לפי TIME, המוצר משתמש באוסף מודלי שפה קטנים המחפשים יחד תוכן שגוי, לא הולם או לא קשור וניסיונות לעקוף כללים. כל לקוח מגדיר מדיניות לפי היישום: חברת ביטוח, צ'אטבוט ידע פנימי ושירות מכירות זקוקים לכללים שונים.
פרס אינו תעודת בטיחות
TIME כלל את Aporia Guardrails בין 200 ההמצאות הטובות של 2024 בתחום הבינה המלאכותית לפי מקוריות, יעילות, שאפתנות והשפעה. זו נראות חשובה, אך לא הסמכה טכנית או הבטחה שכל סיכון ייתפס.
החברה ציינה את Munich Re ואת Sixt בין הלקוחות הראשונים. לקוח אחר צריך לבדוק בעצמו חסימות שווא, זיהוי קלט מזיק, השהיה, הגנת מידע ויכולת ביקורת. שכבת הבקרה יכולה לטעות כמו המודל שעליו היא משגיחה.
בטיחות כתכונת מוצר
Aporia ממחישה מעבר מהדגמת יכולות המודל לאחריות תפעולית. ארגון צריך לדעת מה יקרה בשאלה לא הולמת, מי יראה את רישום התקרית וכיצד משנים כלל. בלי תשובות, AI נשאר ניסוי ולא חלק אמין מתהליך.
למגזר הטכנולוגיה הישראלי guardrails סמוכים באופן טבעי לסייבר ולניטור. הערך אינו בטענה שהמערכת “בטוחה” אלא בבקרות מדידות שאפשר להכניס ליישום קיים. ההצלחה תלויה בהפחתת סיכון ממשי בלי לחסום התנהגות מועילה.
שכבת ההגנה ניצבת בין המודל ליישום
Aporia אינה מתחרה ביכולת של מודל בסיס לייצר טקסט. היא עוקבת אחר הקלט, הפלט והקשר היישום ומעריכה סיכון לפי כללים. היא יכולה לחסום מידע רגיש, תוכן לא הולם או תשובה שאינה עומדת בתנאי. בקרה מרכזית על כמה מודלים חשובה, אך גם המהירות: אסור ששלב הבטיחות יאט את השירות באופן בלתי סביר.
הבקרה חייבת להבין את השימוש המסוים. אותו משפט יכול להתאים לניתוח פנימי ולהיאסר בתשובה ללקוח; רשימת מילים אוניברסלית אינה מספיקה. הארגון זקוק לכללים לפי תפקיד, שפה, נתונים ופעולה שהמודל מפעיל. Aporia מספקת כלי, אך האחריות להגדרת הגבולות נשארת אצל המפעיל.
התראת שווא היא גם סיכון תפעולי
הגנה רופפת מדי מעבירה פלט מסוכן, והגנה מחמירה מדי חוסמת עבודה לגיטימית. איכות אינה נמדדת רק במספר האירועים שנתפסו. יש לעקוב אחר חיובים כוזבים, זמן טיפול וחריגה בטוחה. המשתמש צריך הסבר ברור מדוע נעצר צעד, אחרת ינסה לעקוף את הבקרה או יאבד אמון במערכת.
מערך הבדיקות צריך לכלול תרחישים רגילים, גבוליים ותוקפניים בשפות שבשימוש. צ'כית או טקסט מעורב עשויים להתנהג אחרת ממבחן באנגלית. אחרי שינוי מודל חוזרים על הבדיקה כי אותם כללים עשויים להגיב אחרת. בלי מדידה רציפה, guardrail הוא תחושת ביטחון ולא בקרה מאומתת.
מערכות סוכנים מגדילות את נזק הטעות
צ'אטבוט מחזיר טקסט; סוכן עשוי לשלוח דוא"ל, לערוך רישום או להפעיל תשלום. לכן הבקרה חייבת לבדוק תוכן, הרשאות ורצף פעולות. צעד קריטי צריך אישור אנושי, מגבלת סכום או כלל עצמאי נוסף. נתיב ביקורת חייב להציג קלט, החלטת מודל, התערבות הגנה ותוצאה סופית כדי שאפשר יהיה לחקור אירוע.
Aporia פועלת במפגש סייבר, ציות ועיצוב מוצר. הלקוח זקוק לחיבור לזהויות, יומנים ותהליכי טיפול באירועים, לא ללוח בקרה מבודד נוסף. האינטגרציה קובעת אם מישהו יטפל בהתראה. הטמעה מלאה כוללת אחראים ונוהל תיקון, לא התקנה טכנית בלבד.
רכישה מתחילה במודל האיומים של הארגון
ארגון צריך לזהות תחילה באילו נתונים המודל משתמש, מי המשתמש ומה הנזק האפשרי, ורק אז להשוות מוצרי הגנה. פיילוט צריך למדוד זיהוי בתרחישים עצמאיים, השהיה, עלות ואיכות אינטגרציה. דירוג או שם לקוח מוכר הם אות רלוונטי אך אינם מחליפים בדיקה טכנית ומשפטית של הפעילות.
ארגונים צ'כיים יכולים לראות ב־Aporia שכבה אחת בהגנה רב־שכבתית. עדיין דרושים ניהול גישה, מזעור נתונים, חוזה עם ספק המודל והכשרת עובדים. Guardrails אינם מסנן קסם שהופך כל AI לבטוח. ערכם בהמרת חלק מהסיכונים לכללים גלויים, ניתנים לבדיקה ולביקורת.
בדיקה עצמאית צריכה להשתמש בנתונים צ'כיים ובהתקפות עצמאיות
פיילוט של Aporia צריך לצאת מיישום אמיתי, לא מהדגמה מוכנה של הספק. הצוות יבנה קלט רגיל ותוקפני בצ'כית, באנגלית ובשפות נוספות וימדוד מעבר, חסימות שווא והשהיה. מידע רגיש, prompt injection ופעולות סוכן ייבדקו בנפרד. יש לחזור על הבדיקה לאחר שינוי מודל הבסיס, כי שכבת ההגנה עשויה להגיב אחרת גם בלי שינוי תצורה.
בדיקה מסחרית כוללת מחיר לפי שימוש, יצוא יומנים, מקום עיבוד ואפשרות יציאה. הלקוח צריך לדעת מה קורה בתקלה ב־Aporia: האם היישום נעצר בבטחה או ממשיך בלי בקרה. הסיקור יבחין בין הצהרות החברה לתוצאות בדיקה מסוימת. הפרס מצדיק תשומת לב, אך רק נתונים הניתנים לשחזור יראו אם guardrails מפחיתים סיכון בפעילות צ'כית מפוקחת.
