בת 13 נעצרה בגלל בדיחה ברשת: בינה מלאכותית משמשת כתוכנת מעקב לבתי ספר

בת 13 מטנסי הפכה לסמל המטריד של כישלון טכנולוגיית המעקב בבתי ספר כאשר נעצרה, נחקרה ועברה חיפוש גוף בגלל בדיחה מטומטמת שכתבה לחברותיה ברשת.

הנערה כתבה באינטרנט לחברותיה: "ביום חמישי אנחנו הורגות את כל המקסיקניות" - תגובה לכך שחברותיה קראו לה "מקסיקנית" בגלל השיזוף שלה, למרות שהיא לא ממקסיקו. תוכנת המעקב של בית הספר זיהתה את המילים "הורגות" ו"מקסיקניות" וביצעה דיווח אוטומטי לרשויות.

"זה גרם לי להרגיש, האם זו האמריקה שאנחנו גרים בה?" אמרה אמה, לסלי מתיס. "וזו הייתה הטכנולוגיה המטומטמת הזו שפשוט עוברת וקולטת מילים אקראיות ולא מסתכלת על הקשר".

מעקב דיגיטלי נרחב

אלפי מחוזות בתי ספר ברחבי אמריקה משתמשים בתוכנות כמו Gaggle ו-Lightspeed Alert כדי לעקוב אחר הפעילות המקוונת של ילדים, בחיפוש אחר סימנים שהם עלולים לפגוע בעצמם או באחרים. בעזרת בינה מלאכותית, הטכנולוגיה יכולה לחדור לשיחות מקוונות ולהודיע מיידית הן לפקידי בית הספר והן לרשויות אכיפת החוק.

מערכות המעקב בבתי ספר אמריקאיים מנטרות יותר ויותר כל מה שתלמידים כותבים בחשבונות ובמכשירים של בית הספר. הטכנולוגיה פועלת גם כאשר התלמידים נמצאים בבית, מה שיוצר נוכחות רציפה של מעקב ברווח הפרטי.

בית ספר תיכון בפלורידה השתמש בתוכנת Lightspeed Alert, ותלמידה בת 16 תיארה איך "תלמידים נלקחו תוך חמש דקות" לאחר שכתבו משהו מאיים על מורה במחשב בית הספר ומחקו את זה - התוכנה עדיין קלטה את המסר.

 

הנערה בת ה-13 מטנסי נלקחה לכלא, נחקרה ועברה חיפוש גוף, והוריה לא הורשו לדבר איתה עד למחרת, לפי תביעה שהגישו נגד מערכת בתי הספר. היא לא ידעה למה הוריה לא שם. בית משפט הורה על שמונה שבועות של מעצר בית, הערכה פסיכולוגית ו-20 יום בבית ספר אלטרנטיבי עבור הנערה.

 

שיעור גבוה של אזהרות שווא

ניתוח של נתוני מחוז בתי הספר של לורנס, קנזס, חושף את בעייתיות המערכת. Gaggle הזהירה על יותר מ-1,200 תקריות בתקופה של 10 חודשים, אך כמעט שני שליש מההתראות הללו נחשבו על ידי פקידי בית הספר כלא-בעיות - כולל למעלה מ-200 אזהרות שווא ממטלות של תלמידים.

תלמידים בכיתת צילום נקראו למשרד המנהל בגלל חשש שGaggle זיהה עירום. התמונות נמחקו אוטומטית מה-Google Drive של התלמידים, אך תלמידים שהיו להם גיבויים של התמונות המסומנות במכשירים שלהם הראו שזו הייתה אזהרת שווא.

נטשה טורקזבאן, שסיימה ב-2024, אמרה שהיא סומנה בגלל עריכת חיבור קולג' של חברה כי היו בו המילים "בריאות נפש".

השלכות חמורות על בריאות הנפש

בפלורידה, מחוז בתי ספר עם יותר מ-100,000 תלמידים קיבל כמעט 500 התראות מGaggle במשך ארבע שנים. זה הוביל ל-72 מקרים של אשפוז בכפייה תחת חוק בייקר, חוק מדינתי המאפשר לרשויות לדרוש הערכות בריאות נפש לאנשים נגד רצונם אם הם מהווים סיכון לעצמם או לאחרים.

"מספר גבוה מאוד של ילדים שחווים בדיקה בכפייה זוכרים את זה כחוויה טראומטית ומזיקה מאוד - לא משהו שעוזר להם עם הטיפול בבריאות הנפש שלהם", אמר סם בויד, עורך דין במרכז חוק העוני הדרומי.

הסיטואציה בטנסי

במקרה של הנערה בת ה-13 מטנסי, היא נלקחה לכלא, נחקרה ועברה חיפוש גוף, והוריה לא הורשו לדבר איתה עד למחרת, לפי תביעה שהגישו נגד מערכת בתי הספר. היא לא ידעה למה הוריה לא שם.

"היא אמרה לי אחר כך, 'חשבתי ששנאת אותי.' זה רודף אותך", אמרה מתיס, אמה של הנערה.

בית משפט הורה על שמונה שבועות של מעצר בית, הערכה פסיכולוגית ו-20 יום בבית ספר אלטרנטיבי עבור הנערה.

ביקורת על השימוש בטכנולוגיה

ג'ף פטרסון, מנכ"ל Gaggle, אמר בראיון שמערכת בתי הספר לא השתמשה ב-Gaggle בדרך שהוא נועד. המטרה היא למצוא סימני התרעה מוקדמים ולהתערב לפני שבעיות מסלימות לאכיפת החוק.

"הלוואי שזה היה מטופל כרגע הוראה, לא כרגע אכיפת חוק", אמר פטרסון.

אליזבת ליירד, מנהלת במרכז לדמוקרטיה וטכנולוגיה, אמרה: "זה הפך לשגרה את הנגישות והנוכחות של אכיפת החוק בחיי התלמידים, כולל בבתיהם".

מאבק משפטי

תלמידי עיתונות ואמנות בבית ספר תיכון לורנס הגישו תביעה נגד מערכת בתי הספר בשבוע שעבר, בטענה שGaggle העביר אותם למעקב לא חוקתי.

פקידי בית הספר אמרו שהם לוקחים את החששות לגבי Gaggle ברצינות, אך גם אומרים שהטכנולוגיה זיהתה עשרות איומים מיידיים של התאבדות או אלימות.

"לפעמים אתה צריך להסתכל על הטרייד-אוף לטובת הכלל", אמרה חברת מועצת החינוך אן קוסטלו בישיבת מועצה ביולי 2024.

שנתיים לאחר החוויה הקשה, מתיס אמרה שבתה מרגישה טוב יותר, למרות שהיא עדיין "מפוחדת" לפגוש באחד מקציני בית הספר שעצרו אותה.

"זה כאילו אנחנו פשוט רוצים שילדים יהיו החיילים הקטנים האלה, והם לא", אמרה מתיס. "הם פשוט בני אדם".