״באיזה מקום אנחנו ב-ChatGPT?״ זו שאלה טבעית למי שרגיל לגוגל, ואין לה תשובה. לא כי קשה למדוד, אלא כי אין שם דבר כזה מקום.
01 — אותה שאלה, תשובה אחרת
שאלו את אותה שאלה פעמיים ותקבלו שתי תשובות שונות, לפעמים עם מותגים אחרים. שנו מילה בניסוח, ותקבלו תשובה שלישית. למודל אין רשימה ממוינת שהוא שולף ממנה; הוא מייצר תשובה מחדש בכל פעם, עם מידה של אקראיות מובנית.
02 — למה זה חשוב למדידה
מדידה של שאלה אחת ביום אחד לא אומרת כלום. מה שאפשר למדוד הוא שיעור: מתוך מאה שאלות שהלקוחות שלכם שואלים, בכמה מהן הופעתם, בכמה צוטטתם, ובכמה הופיע מתחרה במקומכם. וחוזרים על זה כל חודש, כדי שהרעש של ריצה בודדת יתאזן.
03 — מה כן אפשר להבטיח
לא מקום. כן: שתהיה לכם תשובה טובה לכל שאלה שחשובה לעסק, שהמידע עליכם יהיה עקבי בכל מקום שהמודל קורא, ושתדעו כל חודש מה השתנה. מי שמבטיח ״מקום ראשון ב-ChatGPT״ מבטיח משהו שלא קיים. איך ChatGPT בכלל מחליט על מי להמליץ, ומה אפשר לעשות עם זה, במדריך נפרד.
כלי המדידה שלנו מריץ כל שאלה כמה פעמים ומתייחס לעמוד כמצוטט רק כשהוא חוזר ברוב הריצות. ככה מסננים את הרעש של ריצה בודדת. הנתונים המלאים בעמוד המחקר.