چند وقت پیش، یکی از کلاینتهای قدیمیام با هیجان زنگ زد و گفت: «فلانی! بالاخره ترکوندیم! توی ChatGPT وقتی میپرسی بهترین آژانس دیجیتال مارکتینگ برای استارتاپها کیه، اسم ما نفر اول میاد!» خب، من هم خوشحال شدم. اما حس کنجکاوی (و شاید بدبینی ذاتی یک سئوکار) باعث شد همون لحظه لپتاپم رو باز کنم و دقیقاً همون پرامپت (Prompt) رو توی چتجیپیتی خودم بزنم. نتیجه؟ اسم کلاینت من اصلاً توی لیست نبود! 😳
دوباره زدم. این بار اومد، اما نفر پنجم. یک بار دیگه؟ نفر سوم. انگار داشتم با یک ماشین اسلات (Slot Machine) بازی میکردم نه یک ابزار تحلیل جستجو. این تجربه، جرقهای شد برای اینکه بفهمم واقعاً زیر پوست این مدلهای زبانی بزرگ چه میگذره. آیا بودجههایی که داریم برای دیده شدن در هوش مصنوعی (AI Visibility) خرج میکنیم، واقعاً بازگشت سرمایه داره یا داریم پولمون رو آتیش میزنیم؟ 🔥
امروز میخوام نتایج یک تحقیق فوقالعاده مهم و جدید رو باهاتون به اشتراک بذارم که نشون میده چرا هوش مصنوعیها در پیشنهاد برندها بهشدت ناسازگارن و ما به عنوان بازاریاب باید چه استراتژی جدیدی رو پیش بگیریم.
مشکل بزرگ: توهم ثبات در دنیای هوش مصنوعی 🌫️
بذارید با یک آمار ترسناک شروع کنم. تخمین زده میشه که شرکتها سالانه بیش از ۱۰۰ میلیون دلار خرج نسخه جدید تحلیل جستجو (Search Analytics) میکنن تا بفهمن برندشون توی هوش مصنوعی چطور دیده میشه. اما مدیرانی که این چکها رو امضا میکنن، یه سوال اساسی رو فراموش کردن: آیا اصلاً ابزارهای هوش مصنوعی اونقدر ثبات دارن که بشه روشون حساب کرد؟
چرا مدیران گول میخورند؟
مسئله اینجاست که ما عادت کردیم به ماشینها اعتماد کنیم. وقتی توی گوگل سرچ میکنیم، نتایج تا حد زیادی ثابت و قابل پیشبینی هستن. اما وقتی نوبت به ChatGPT، Claude یا Google AI Overview میرسه، داستان کاملاً عوض میشه. مطالعات زیادی روی دقت واقعی بودن (Accuracy) هوش مصنوعی انجام شده، اما وقتی صحبت از تولید “لیست پیشنهادی برند/محصول” میشه، تقریباً هیچ دادهای وجود نداشت… تا الان.
یک مدیر جدی چطور حاضره هزاران دلار به سرویسهای ردیابی هوش مصنوعی (AI Tracking) بده، بدون اینکه بدونه آیا این دادهها اصلاً معتبرن یا نه؟.
تحقیق بزرگ: ورود به دنیای عدم قطعیت 🧪
رند فیشکین (Rand Fishkin)، یکی از بزرگان دنیای سئو، تصمیم گرفت به جای غر زدن، دست به کار بشه. او با کمک پاتریک اودانل از استارتاپ Gumshoe.ai، یک تحقیق میدانی و گسترده رو انجام داد. هدف؟ تست کردن این فرضیه که “لیستهای پیشنهادی هوش مصنوعی اونقدر تصادفی هستن که ردیابی رتبهبندی (Ranking) در اونها بیفایده است”.
روش انجام کار چطور بود؟
این تحقیق شوخیبردار نبود. اونها از ۶۰۰ داوطلب خواستن که ۱۲ پرامپت مختلف رو در سه ابزار محبوب (ChatGPT, Claude, Google AI) اجرا کنن. این یعنی مجموعاً ۲۹۶۱ بار اجرای پرامپت!. داوطلبها پاسخها رو کپی میکردن و تیم تحقیق اونها رو آنالیز میکرد تا ببینه چقدر ثبات وجود داره.
نتایج اولیه: یک آشوب کامل
اگر بخوام خیلی ساده بگم: هوش مصنوعیها در ارائه لیستهای پیشنهادی، ثبات ندارند.
- شانس اینکه ChatGPT یا Google AI در صورت ۱۰۰ بار پرسش، دو بار دقیقاً یک لیست یکسان از برندها رو به شما بدن، کمتر از ۱ درصد بود!.
- در مورد Claude، اوضاع یه کوچولو بهتر بود، اما وقتی بحث “ترتیب” (Order) پیش میومد، اون هم کاملاً تصادفی عمل میکرد.
به زبان ریاضی، احتمال دیدن دو لیست با ترتیب یکسان، چیزی در حد ۱ در ۱۰۰۰ اجرا بود. این یعنی چی؟ یعنی رتبهبندی در هوش مصنوعی (اینکه من نفر اولم یا دوم)، عملاً بیمعنیه.
چرا هوش مصنوعی اینقدر گیج میزند؟ (تحلیل فنی) 🤖
بیایید کمی عمیق بشیم. چرا این ابزارها مثل گوگل عمل نمیکنن؟ هوش مصنوعیها موتورهای جستجو نیستن؛ اونها موتورهای احتمالات (Probability Engines) هستن. اونها بر اساس “تکمیل خودکار تند و تیز” (Spicy Autocomplete) کار میکنن.
مکانیزم توکنها
وقتی شما میپرسید “بهترین چاقوی آشپزخانه”، هوش مصنوعی نمیره بهترین چاقو رو بر اساس کیفیت تست کنه. اون نگاه میکنه که در پیکره متنی (Corpus) عظیمی که باهاش آموزش دیده، کدام توکنها (کلمات) معمولاً بعد از هم میان. هر بار که شما دکمه ارسال رو میزنید، سیستم یک “قرعهکشی آماری” انجام میده. بنابراین، لیستها از سه جهت منحصر به فرد میشن:
- برندهای موجود در لیست.
- ترتیب برندها.
- تعداد موارد پیشنهاد شده (گاهی ۳ تا، گاهی ۱۰ تا).
نکته کلیدی: هوش مصنوعیها طوری طراحی شدن که هر بار پاسخ منحصر به فرد بدن. انتظار ثبات از اونها، مثل انتظار خشک موندن زیر بارونه.
رتبهبندی مرده است؛ زنده باد “درصد دیدهشدن” 👁️
خب، پس همه چی سیاهه؟ ردیابی هوش مصنوعی کلاً کلاهبرداریه؟ رند فیشکین اولش همین فکر رو میکرد. فرضیهاش این بود که تلاش برای ردیابی، پول دور ریختنه. اما در یک چرخش داستانی جالب، نظرش عوض شد.
کشف معیار درست: Visibility %
اگرچه “رتبه” (Rank) مدام تغییر میکنه، اما “حضور” (Presence) برندها الگو داره. مثلاً، وقتی از هوش مصنوعی گوگل خواستن مشاوران بازاریابی دیجیتال رو معرفی کنه، آژانس Smartsites در ۸۵ مورد از ۹۵ پاسخ ظاهر شد. این یعنی چی؟ یعنی اگرچه ممکنه رتبهاش بین ۱ تا ۱۰ بالا و پایین بشه، اما هوش مصنوعی “عموماً” اون رو به عنوان یک پاسخ مرتبط میشناسه.
اینجاست که معیار “درصد دیدهشدن” (Percent Visibility) متولد میشه. به جای اینکه بپرسید “من نفر چندمم؟”، باید بپرسید “در ۱۰۰ بار اجرای پرامپت، برند من چند بار ظاهر شد؟”. این عدد، برخلاف رتبه، از نظر آماری معتبره و میشه روش حساب کرد.
مثال بیمارستان سرطان (یک سناریوی حیاتی)
فرض کنید خدای نکرده یکی از عزیزان شما سرطان داره و شما با عجله از Google AI میپرسید “بهترین بیمارستان سرطان در ساحل غربی آمریکا کجاست؟”. در نتایج ChatGPT، بیمارستان “City of Hope” در ۶۹ مورد از ۷۱ پاسخ ظاهر شد (نرخ دیدهشدن ۹۷٪). اما نکته اینجاست: این بیمارستان فقط در ۲۵ پاسخ، رتبه اول رو داشت. اگر شما فقط یک بار جستجو میکردید و مبنا رو “رتبه ۱” میذاشتید، ممکن بود بهترین گزینه رو نبینید. این نشون میده که “رتبهبندی” چقدر میتونه گمراهکننده باشه.
چالش پرامپتها: مرغ کونگ پائو و کره بادام زمینی! 🥜
یه مشکل دیگه هم هست. کاربران واقعی مثل رباتها سرچ نمیکنن. پرامپتهای انسانی خلاق، عجیب و بسیار دقیق هستن. برخلاف جستجوی گوگل که ما سعی میکنیم منظورمون رو در ۲ تا ۵ کلمه خلاصه کنیم، در هوش مصنوعی با زبان طبیعی و پیچیده حرف میزنیم.
شباهت معنایی پایین
در این تحقیق، ۱۴۲ پرامپت مختلف که توسط انسانها نوشته شده بود بررسی شد. شباهت معنایی این پرامپتها فقط ۰.۰۸۱ بود. رند فیشکین از یه تشبیه عالی استفاده میکنه: این شباهت مثل رابطه بین “مرغ کونگ پائو” و “کره بادام زمینی” هست. هر دو بادام زمینی دارن، اما غذاهای کاملاً متفاوتیان!.
آیا تنوع پرامپتها نتایج رو خراب میکنه؟
خبر خوب اینه: نه! با وجود اینکه مردم پرامپتهای عجیب و غریبی مینوشتن (مثلاً درباره خرید هدفون برای عضوی از خانواده که مسافره)، هوش مصنوعیها “قصد” (Intent) اصلی رو میفهمیدن. در ۹۹۴ پاسخ تولید شده برای هدفونها، برندهای Bose، Sony و Apple بین ۵۵ تا ۷۷ درصد مواقع ظاهر شدن. این نشون میده که حتی با پرامپتهای بسیار متنوع، “درصد دیدهشدن” همچنان یک معیار قابل اتکاست.
راهنمای عملی برای بازاریابها: چه باید کرد؟ 🛠️
حالا که فهمیدیم رتبهبندی دروغه و دیدهشدن حقیقته، وظیفه ما چیه؟ اگر مدیر مارکتینگ یا متخصص سئو هستید، این نقشه راه شماست:
۱. از خیر “رتبه ۱” بگذرید
دیگه به دنبال این نباشید که به مدیرتون گزارش بدید “ما رتبه یک ChatGPT هستیم”. این ادعا از نظر آماری غلطه. به جاش گزارش بدید: “برند ما در ۹۰٪ مکالمات مرتبط با این موضوع، به کاربر پیشنهاد میشه”.
۲. به ابزارهای ردیابی شک کنید
هر ابزاری که به شما “AI Ranking Position” میفروشه، داره چرت و پرت تحویلتون میده. پولتون رو دور نریزید. به دنبال ابزارهایی باشید که “درصد دیدهشدن” (Visibility %) رو در تعداد زیادی پرامپت (دهها تا صدها بار اجرا) اندازه میگیرن.
۳. روش تحقیق خودتون رو داشته باشید
اگر نمیخواید پول ابزار بدید، خودتون دست به کار بشید. اما یادتون باشه یک بار پرسیدن فایده نداره. باید یک پرامپت رو حداقل ۶۰ تا ۱۰۰ بار اجرا کنید، میانگین بگیرید و بعد نتیجه رو تحلیل کنید.
۴. سوالاتی که باید از فروشندگان ابزار بپرسید
قبل از خرید هر ابزار AI Tracking، این سوالات رو ازشون بپرسید (اگه جواب نداشتن، فرار کنید!):
- چند بار یک پرامپت رو اجرا میکنید تا به آمار برسید؟
- آیا فراخوانیهای API شما تنوعی که کاربران واقعی دارن رو شبیهسازی میکنه؟
- چه تنوعی از پرامپتها رو برای پوشش یک موضوع (Intent) استفاده میکنید؟
۵. مراقب “روغن مار” فروشها باشید
دقیقاً مثل دوران اولیه سئو که فروشندگان کلاهبردار وعده رتبه ۱ گوگل رو میدادن، الان هم “کارشناسان” دیدهشدن در هوش مصنوعی میتونن از ناآگاهی شما سوءاستفاده کنن. خریدار باید هوشیار باشه.
۶. این لیستها تاییدیه نیستند
یادتون باشه، وقتی هوش مصنوعی برند شما رو پیشنهاد میده، به این معنی نیست که شما رو “تایید” (Endorse) کرده. این فقط نتیجه تکرار توکنها در دیتابیس اونه. پس خیلی مغرور نشید و خیلی هم ناامید نشید.
نتیجهگیری: قطبنمای جدید در دریای طوفانی 🧭
دوستان، دنیای بازاریابی در هوش مصنوعی، هنوز یک غرب وحشی تمامعیاره. ما هنوز داریم یاد میگیریم که قوانین بازی چیه. خلاصه کلام اینه:
- هوش مصنوعیها هرگز لیست یکسانی نمیدن (کمتر از ۱ در ۱۰۰).
- ترتیب نتایج کاملاً تصادفیه (کمتر از ۱ در ۱۰۰۰ ثبات داره).
- شما نمیتونید “رتبه” رو ردیابی کنید، اما میتونید “سهم از شلف” یا همون Visibility رو اندازه بگیرید.
ما باید یاد بگیریم با “احتمالات” کار کنیم، نه با “قطعیتها”. این تغییر ذهنیت، بزرگترین مهارتیه که در سالهای آینده بهش نیاز خواهید داشت.
آیا حاضرید بودجه بازاریابیتون رو بر اساس دادههای واقعی تنظیم کنید یا هنوز میخواید با تاس انداختن جلو برید؟ انتخاب با شماست. 😉
منبع: