המהלך מגיע על רקע העלייה בשימוש בכלי בינה מלאכותית ליצירה מהירה וזולה של סרטונים, תמונות, קריינות וטקסטים. הכלים מאפשרים למשתמש יחיד להפיק בתוך זמן קצר מאות ואף אלפי פריטי תוכן, לעיתים תוך שימוש במידע שגוי, בכותרות מטעות או בדמויות שאינן קיימות. בחלק מהמקרים מדובר בתוכן שנועד למשוך צפיות והכנסות מפרסום, ובמקרים אחרים הוא עלול לשמש להפצת תעמולה, התחזות או מסרים שיווקיים מוסווים.
בטיקטוק מגדירים ספאם כתוכן חוזר, לא אותנטי או מניפולטיבי, שמופץ בהיקפים גדולים ועלול לפגוע בחוויית השימוש בפלטפורמה. החברה מסרה שספאם אסור בהתאם לכללי הקהילה שלה, ושכבר כיום היא משתמשת במערכות אוטומטיות לאיתור חשבונות ופעילות חשודה. לפי הנתונים שפרסמה, ברבעון הראשון של 2026 הוסרו מהפלטפורמה יותר מ-86 מיליון חשבונות מזויפים. עם זאת, החברה לא פירטה כמה מהם הפעילו מערכות בינה מלאכותית, כמה זוהו לפני שהספיקו לפרסם תוכן ומה היה היקף החשיפה של הסרטונים שהעלו.
ההתמקדות בתוכן רפואי ובייעוץ פיננסי נובעת מהסיכון הגבוה בתחומים אלה. סרטון שנראה מקצועי ומשלב דמות אנושית שנוצרה באופן מלאכותי עשוי להציג המלצות על תרופות, טיפולים או השקעות, בלי שהצופה יוכל לזהות מי עומד מאחוריו ומה מקור המידע. שימוש בקול מסונתז, במסמכים מזויפים ובדמויות המדמות רופאים, מומחים או אנשי תקשורת עלול להקשות עוד יותר על ההבחנה בין תוכן אמין לבין מסר שיווקי או מטעה.
גם תוכן פוליטי ואקטואלי נמצא במוקד הפיילוט. כלי בינה מלאכותית מאפשרים ליצור סרטונים שבהם מועמדים, מנהיגים או אנשי ציבור נראים ואפילו נשמעים כאילו אמרו דברים שלא נאמרו. תוכן מסוג זה, המכונה לעיתים דיפ פייק, עלול להתפשט במהירות רבה, במיוחד סביב מערכות בחירות, מלחמות, משברים ואירועים חדשותיים מתפתחים. גם אם הסרטון מוסר בשלב מאוחר יותר, הוא עשוי כבר להגיע למספר גדול של משתמשים ולהמשיך להופיע בפלטפורמות אחרות.
לצד מערכות הזיהוי החדשות הודיעה טיקטוק שתצטרף לוועדה המנהלת של ארגון C2PA, גוף שבו שותפות חברות טכנולוגיה וגופי מדיה, ושעוסק בפיתוח תקנים לזיהוי המקור וההיסטוריה של תוכן דיגיטלי. אחד הכלים המרכזיים שמקדם הארגון נקרא Content Credentials, מעין תווית דיגיטלית שיכולה להכיל מידע על האופן שבו תמונה או סרטון נוצרו, נערכו או עובדו.
הטכנולוגיה מבוססת על צירוף נתונים לקובץ עצמו, כך שפלטפורמות תומכות יכולות לזהות שתוכן נוצר או עבר שינוי משמעותי באמצעות בינה מלאכותית. עם זאת, המנגנון לא מספק פתרון מלא. ניתן להסיר נתונים מקבצים, לצלם מחדש מסכים, להעתיק סרטונים או להעביר אותם דרך מערכות שלא שומרות את פרטי המקור. לכן גם שימוש בתוויות דיגיטליות לא מחליף מערכות ניטור, בדיקות אנושיות ודיווח מצד משתמשים.
טיקטוק מסרה שהחלה להטמיע את הטכנולוגיה לפני כשנתיים ושעד היום תייגה יותר מ-3 מיליארד סרטונים כתוכן שנוצר באמצעות בינה מלאכותית. לדברי החברה, הסימון התבצע באמצעות שילוב של נתוני Content Credentials, כלי תיוג שמופעלים בידי יוצרי התוכן וטכנולוגיית סימון מים בלתי נראה. גם במקרה זה לא נמסר כמה מהסרטונים סומנו אוטומטית, כמה תויגו מרצון בידי המשתמשים וכמה סרטונים שנוצרו בבינה מלאכותית נותרו ללא סימון.
הצטרפות לוועדה המנהלת של C2PA תאפשר לטיקטוק להשתתף בדיונים על פיתוח התקן ועל הרחבת השימוש בו בקרב חברות נוספות. ההחלטה מתקבלת בתקופה שבה פלטפורמות חברתיות מתמודדות עם לחץ גובר מצד ממשלות, רגולטורים וארגוני חברה אזרחית לסמן תוכן מלאכותי ולהפחית את הפצתו של מידע מטעה. המחלוקת המרכזית נוגעת לא רק ליכולת הטכנולוגית לזהות תוכן כזה, אלא גם לשאלת האחריות של הפלטפורמות ולמידת השקיפות שלהן בנוגע לאופן שבו מתקבלות החלטות להסיר סרטונים או חשבונות.
בתוך כך הודיעה החברה שתרחיב פעילות בתחום אוריינות הבינה המלאכותית. במסגרת זו היא שיתפה פעולה עם הארגון האמריקני NAMLE ועם החוקר הנרי אג'דר בהכנת מדריך לשימוש אחראי בכלי בינה מלאכותית. לפי טיקטוק, תוכנית תוכן שהשיקה בנובמבר 2025, שמחברת בין מומחים לבין קהילת המשתמשים, צברה יותר מ-200 מיליון צפיות. החברה מסרה שהתחייבה להשקיע בתוכנית יותר מ-4 מיליון דולר.
התרעות פיקוד העורף