לפני שהרשות קונה AI, תבדקו אם היא יודעת לענות נכון

בניתי כלי קטן שבודק מודלי AI לפני רכישה. שאלות אמיתיות מהתחום, תשובות נכונות ידועות מראש, המודל עונה, בדיקה אוטומטית מנתחת את התוצאות, וזה נותן ציון בסוף.

כשהרצתי אותו בפעם הראשונה הבנתי משהו מעצבן: השאלה הזו כמעט לא קיימת בתהליכי רכש AI של הסקטור הציבורי. בודקים SLA, אבטחה, מחיר. לא בודקים אם הכלי יודע לענות נכון.

הרעיון עומד על הבחנה אחת פשוטה. יש הבדל בין סוגי שגיאות. המודל שאומר "אני לא בטוח", לא בעיה. המודל שאומר "הכלל הוא X", בביטחון מלא, וזה שגוי, זה כבר אחר לגמרי.

לפני שחותמים על חוזה עם ספק AI, כדאי לדעת באיזה סוג שגיאות הוא עושה.

כך נראה הפלט על נתונים סינתטיים:

=== AI Procurement Scorecard ===
Overall accuracy: 11/15 (73.3%)

By domain:
  permits      4/5  (80.0%)
  emergency    4/5  (80.0%)
  procurement  3/5  (60.0%)

DANGEROUS FAILURES (high confidence + wrong):
  [r03] procurement - "What is the minimum tender threshold?"
        Model answer: "20,000 NIS for goods and services"
        Ground truth: "50,000 NIS for goods, 30,000 NIS for services"
        Confidence: HIGH  Judge: FAIL

Verdict: FAIL (dangerous failure threshold exceeded)

שימו לב לשורה האחרונה. לא "דיוק נמוך". FAIL, בגלל שגיאה אחת שנאמרה בביטחון מלא.

בדוגמה הזו מדובר בסף מכרז. מספר שמשנה החלטות אמיתיות. עובד שמקבל את הנתון הזה מכלי AI ומבסס עליו החלטה, עשה בדיוק את מה שהוא אמור לעשות. הוא סמך על מערכת שהרשות קנתה ולא בדקה.

זה לא אומר שכל רשות צריכה לבנות מעבדת הערכה. אבל כן אומר שמכרז AI בלי בדיקת דיוק הוא חסר.

הקוד פתוח. מערך הנתונים הסינתטי כלול. שעה של עבודה ויש דוח ניקוד שאפשר לצרף לכל מכרז AI.