אפשר להריץ את כל השאלות כל יום ולהציג גרף חי. עשינו את זה. הגרף זז כל יום, למעלה ולמטה, גם בשבועות שלא נגענו בכלום. זה לא אומר שהמדידה שגויה; זה אומר שככה מנועי AI עובדים.
01 — מאיפה הרעש
המודלים מייצרים תשובה מחדש בכל ריצה, עם אקראיות מובנית. המנועים עם חיפוש חי רואים תוצאות חיפוש שמשתנות. ולפעמים המנוע עצמו מתעדכן. שלושת אלה יחד יוצרים תנודה יומית שאין לה קשר למה שעשיתם.
02 — מה מדידה יומית כן טובה לו
לזהות שינוי חד: מתחרה חדש שנכנס לתשובות, עמוד שלכם שנעלם אחרי שינוי באתר, מנוע ששינה התנהגות. בשביל זה שומרים את ההרצה היומית, אבל לא מציגים אותה כגרף שצריך להגיב אליו.
03 — למה החודש הוא היחידה הנכונה
כשמשווים חודש מלא לחודש מלא, הרעש היומי מתאזן ומה שנשאר הוא הכיוון: בכמה שאלות הופעתם החודש לעומת הקודם, אילו עמודים נכנסו לציטוטים, מי המתחרה שעלה. זה גם הקצב שבו אפשר באמת לשנות משהו באתר ולראות תוצאה.
04 — איך נראה הדוח
עמוד אחד. שלושה מספרים שמשווים לחודש הקודם, רשימת שאלות שנכנסתם אליהן או יצאתם מהן, מי המתחרים, ומה בוצע. ולצד ההופעות, מה המבקרים שהגיעו ממנועי AI עשו באתר, כי תנועה בלי המרה היא דוח יפה ולא יותר. בסוף: שלוש החלטות לחודש הבא. דוח שצריך מתרגם הוא דוח גרוע.