בודקים אתר שה-AI בנה: חמש בדיקות, כמו במחקר WebsiteBench

ב-WebsiteBench חוקרים נתנו לסוכני AI לגלוש ב-70 אתרים אמיתיים ולבנות כל אחד מהם מחדש, ובדקו את התוצאה ב-46,916 בדיקות נסתרות: איך העמוד נראה, מה קורה כשלוחצים, מה נשאר אחר כך ומי רואה מה. המודל שהוביל את הטבלה עבר בממוצע 26.2% מהן. אתר שנראה מושלם עוד לא אומר שהוא עובד, אז הנה אותם סוגי בדיקות, בגרסה שכל אחד עושה בדפדפ

צעד אחר צעד

  1. מסתכלים זה ליד זה: צילום מסך של האתר המקורי ושל הגרסה החדשה, באותו רוחב חלון. מעלים את שני הצילומים לצ'אט (ChatGPT, Gemini או Claude) ושואלים: "מה שונה בין שתי התמונות? רשימה, מהבולט לפחות בולט". בוני
  2. לוחצים על הכול: כל קישור, כל כפתור וכל תפריט, גם בטלפון. ממלאים כל טופס ושולחים, וגם שולחים אותו ריק. כל מה שלא הגיב, או הגיב אחרת מהמקור, נכנס לרשימה
  3. מרעננים: מוסיפים מוצר לסל, שומרים הגדרה או ממלאים פרטים, ולוחצים F5 (במק: Cmd+R). מה שנעלם אחרי רענון היה רק על המסך, ולא נשמר
  4. בגלישה בסתר: בכרום לוחצים Ctrl+Shift+N (במק: Cmd+Shift+N) ומדביקים כתובת של עמוד שרק מי שמחובר אמור לראות. אם הוא נפתח בלי התחברות, זה חור באבטחה, והוא עולה לראש הרשימה
  5. מחזירים לסוכן שבנה את האתר: "אלה הבדיקות שנכשלו באתר: [הרשימה]. לתקן אחת־אחת, בלי לשנות שום דבר אחר. אחרי כל תיקון, לכתוב לי מה השתנה ומה לבדוק שוב." ובודקים שוב, עד שהרשימה ריקה

הקישורים

טיפ

האתר רץ על שרת משלכם? הפעילו אותו מחדש ובדקו שהכול עדיין שם: גם הפעלה מחדש היא חלק מהבדיקות של החוקרים. ומי שרוצה להריץ את WebsiteBench עצמו צריך Linux, Docker ו-8 מעבדים לכל ניסיון. את חמש הבדיקות כאן עושים בדפדפן.

מכתב מהמעבדה: כל יום ראשון כלי AI אחד, פרומפט מוכן ומה באמת קרה השבוע. חינם. ועוד: מדריכי AI בעברית.