Content True AI Checker: האם אפשר לסמוך על ה-98.5% דיוק?

טענות פרטיות ואבטחה

דף הבית של Content True מציין שהגשות אינן משמשות לאימון המודלים שלו וכי העבודה נשארת פרטית . מדיניות הפרטיות שלו אומרת שהוא עשוי לאסוף מידע אישי, נתוני שימוש ומידע על המכשיר, וכי הוא עשוי להשתמש בספקי שירות צד שלישי תוך יישום אמצעי אבטחה להגנה על מידע אישי .

בדיקת עובדות הדיוק: האם אפשר לסמוך על טענת 98.5%?

Content True טוען לדיוק של "98.5%" בזיהוי AI ואומר שהאלגוריתמים הקנייניים שלו "מבטלים כמעט לחלוטין אזהרות שווא" . עם זאת, אין מספיק ראיות עצמאיות המאשרות את נתון הדיוק הספציפי של 98.5%. מחקרים רחבים יותר על גלאי AI מעלים חששות רציניים לגבי אמינותם.

מחקר משנת 2023 של Weber-Wulff ועמיתיו בחן 14 כלי זיהוי—כולל Turnitin ו-GPTZero—ומצא ש"כולם קיבלו ציון מתחת ל-80% דיוק ורק 5 מעל 70%" . מחקר של אוניברסיטת סטנפורד מצא שגלאים סימנו 61% מהחיבורים של דוברי אנגלית שאינם שפת אם כנוצרו על ידי AI, גם כשהם נכתבו לחלוטין על ידי אדם . בדיקות עצמאיות של Supwriter על 150 דוגמאות מהעולם האמיתי מצאו שאף כלי אחד לא עלה על 80% דיוק כולל .

אפילו חברות זיהוי AI מודות במגבלות. Originality.ai, כלי מרכזי נוסף, מצהיר בגלוי: "אפילו גלאי ה-AI שלנו אינו מושלם, והוא יכול לייצר אזהרות שווא" .

נקודת מפתח: אין להתייחס לטענות הביצועים של Content True כהוכחה סופית. התוצאות שלו עדיף להשתמש כאות אחד מני רבים.

מסקנה מעשית

Content True עשוי להיות שימושי ככלי מיון לבדיקות אותנטיות מהירות, אך יש לשלב את פסקי הדין שלו עם בדיקה אנושית, ראיות מתהליך הכתיבה, היסטוריית גרסאות, ציטוטים והקשר לפני קבלת החלטות בעלות השלכות גבוהות .