راهنمای کارشناسان سئو برای بهینه‌سازی جستجوی هوش مصنوعی

AIO (بهینه‌سازی موتور پاسخ هوش مصنوعی) چطوری کار می‌کند؟

شخصی‌سازی (personalization) داره همه چیز رو کاملاً تغییر می‌ده. «باید بگم بزرگ‌ترین یا ساده‌ترین چیزی که باید درباره تقابل بهینه‌سازی جستجوی هوش مصنوعی (AEO) و سئو (SEO) به یاد داشته باشیم اینه که این دیگه یه بازی با مجموع صفر (zero sum game) نیست. دو نفر با یه پرس‌وجوی (query) کاملاً مشابه، ممکنه توی جستجوی تجاری (commercial search) جواب‌های متفاوتی بگیرن؛ البته اگه اون ابزار هوش مصنوعی که دارن ازش استفاده می‌کنن، حافظه شخصی (personal memory) کاربر رو وارد پنجره بافت (context window) کنه (مثل Perplexity یا ChatGPT).

بخش زیادی از این موضوع به تکنولوژی ایندکس یا همون فهرست (index) برمی‌گرده (که دلیل اصلی تفاوت بین GEO و AEO هم هست). اما بله، در حال حاضر درسته که بگیم (بیشترِ) روش‌های بهینه سنتی سئو هنوز هم کاربرد دارن.»

نکته مهم اینه که دیده شدن، توی نتایج جستجو دیگه به معنی یه نتیجه جستجوی واحد و ثابت نیست. نقشِ زمینه‌های شخصی (Personal context) توی پاسخ‌های هوش مصنوعی به این معنیه که دو تا کاربر ممکنه برای یه سوال مشابه، جواب‌های کاملاً متفاوتی بگیرن که احتمالاً از منابع محتوایی متفاوتی هم استخراج شده.

با اینکه زیرساخت اصلی هنوز همون ایندکس جستجوی کلاسیک (classic search index) هست، سئو هنوز هم توی تعیین اینکه آیا اصلاً محتوا شایستگی بازیابی شدن رو داره یا نه، نقش بازی می‌کنه. گفته می‌شه که هوش مصنوعی Perplexity از یه نوع پیج‌رنک (PageRank) استفاده می‌کنه؛ یعنی همون روش مبتنی بر لینک برای تعیین محبوبیت و مرتبط بودن وب‌سایت‌ها. پس این یه نشونه به متخصص‌های سئو می‌ده که باید روی چه چیزهایی تمرکز کنن. اما همون‌طور که خواهید دید، چیزی که بازیابی می‌شه با جستجوی کلاسیک خیلی فرق داره.

چرا بهینه‌سازی جستجوی هوش مصنوعی با جستجوی گوگل (SEO سنتی) متفاوت است؟

در مورد تکنولوژی ایندکس (index technology)، بزرگ‌ترین تفاوت توی جستجوی هوش مصنوعی در حال حاضر به پردازشِ “کل سند” در مقابل پردازشِ “زیر-سندی” (sub-document processing) برمی‌گرده. موتورهای جستجوی سنتی، ایندکس کردن رو در سطح کل سند انجام می‌دن. اونا یه صفحه وب رو نگاه می‌کنن، بهش امتیاز می‌دن و ثبتش می‌کنن. وقتی از یه ابزار هوش مصنوعی استفاده می‌کنی که روی این ساختار ساخته شده (مثل جستجوی وب ChatGPT)، اون در واقع یه جستجوی کلاسیک انجام می‌ده، ۱۰ تا ۵۰ تا سند برتر رو برمی‌داره و بعد از مدل زبانی بزرگ (LLM) می‌خواد که یه خلاصه تولید کنه. برای همین هم هست که جستجوی GPT رو این‌طوری توصیف می‌کنن: “۴ تا جستجوی بینگ که یه پالتو بلند پوشیدن” — این شوخی از نظر فنی درسته، چون مدل داره بر اساس نتایج جستجوی استاندارد یه خروجی تولید می‌کنه.

به خاطر همینه که ما به استراتژی بهینه‌سازی جستجوی هوش مصنوعی برای این حالت می‌گیم GEO یا بهینه‌سازی موتور مولد (Generative Engine Optimization). اون جستجوی کل‌سند در واقع هنوز جستجوی الگوریتمیه، نه هوش مصنوعی؛ چون داده‌های توی ایندکس همون امتیازدهی‌های معمولی صفحات هستن که توی سئو بهشون عادت کردیم. اما رویکردِ “اول هوش مصنوعی” به اسم “پردازش زیر-سندی” شناخته می‌شه.

توی این حالت به جای ایندکس کردن کل صفحات، موتور جستجو تکه‌های (snippets) خاص و ریز رو ایندکس می‌کنه (این رو با اون چیزی که سئوکارها به اسم “اسنیپت‌های برگزیده” می‌شناسن اشتباه نگیرید). یه تکه یا اسنیپت در اصطلاح هوش مصنوعی، حدود ۵ تا ۷ توکن (tokens) یا ۲ تا ۴ کلمه هست؛ با این تفاوت که متن به عدد تبدیل شده (توسط اون فرآیند پایه هوش مصنوعی که بهش ترنسفورمر (transformer) می‌گن، همون حرف T توی GPT). وقتی تو از یه سیستم زیر-سندی سوال می‌پرسی، اون ۵۰ تا سند رو بازیابی نمی‌کنه؛ بلکه حدود ۱۳۰,۰۰۰ توکن از مرتبط‌ترین تکه‌ها (حدود ۲۶ هزار تکه) رو برای تغذیه هوش مصنوعی بازیابی می‌کنه.

البته این اعداد دقیق نیستن. تعداد واقعی تکه‌ها همیشه برابر با تعداد کل توکن‌هایی هست که با ظرفیت کاملِ پنجره بافت (context window) اون مدل زبانی خاص مطابقت داشته باشه (در حال حاضر این ظرفیت به طور متوسط حدود ۱۳۰ هزار توکنه). هدف اینه که پنجره بافتِ مدل هوش مصنوعی رو کاملاً با مرتبط‌ترین اطلاعات پر کنیم؛ چون وقتی اون پنجره رو اشباع (saturate) می‌کنی، دیگه فضایی برای مدل باقی نمی‌مونه که بخواد “توهم بزنه” (hallucinate) یا از خودش چیزی دربیاره.

به عبارت دیگه، مدل از حالت یه تولیدکننده خلاق خارج می‌شه و یه جواب دقیق‌تر تحویل می‌ده. این روش زیر-سندی جایی هست که کل صنعت داره به سمتش می‌ره و برای همینه که دقیق‌تره اگه بهش بگیم AEO یا بهینه‌سازی موتور پاسخ (Answer Engine Optimization)

واضحه که این توضیحات یه کمی ساده‌سازی شده‌ هستن. اما اون زمینه شخصی که باعث می‌شه هر جستجو دیگه یه نتیجه جهانی برای همه کاربران نباشه، به این خاطره که مدل زبانی (LLM) می‌تونه هر چیزی که درباره جستجوگر می‌دونه رو برداره و از اون برای پر کردن کل پنجره بافت استفاده کنه. که این اطلاعات خیلی بیشتر از یه پروفایل کاربری گوگل هست.

تمایز رقابتی شرکتی مثل Perplexity، یا هر شرکت جستجوی هوش مصنوعی دیگه‌ای که به سمت پردازش زیر-سندی می‌ره، توی تکنولوژیِ بین ایندکس و اون ۲۶ هزار تکه نهفته‌ هست. با تکنیک‌هایی مثل تنظیم قدرت پردازش (modulating compute)، بازنویسی پرس‌وجو (query reformulation) و مدل‌های اختصاصی که روی خودِ ایندکس اجرا می‌شن، ما می‌تونیم اون تکه‌ها رو با جستجوی کاربر مرتبط‌تر کنیم؛ که این بزرگ‌ترین اهرم برای رسیدن به یه جواب بهتر و غنی‌تر هست.

راستی، این موضوع برای سئوکارها کمتر اهمیت داره، اما کل این مفهوم دلیلِ این هم هست که ای‌پی‌آی جستجوی (search API) شرکت Perplexity این‌قدر معتبره. برای توسعه‌دهنده‌هایی که جستجو رو توی هر محصولی می‌سازن، تفاوت این دو روش مثل شب و روزه.

2 رویکرد کاملاً متفاوت برای ایندکس کردن در SEO و AIO

۱. ایندکس کردن کل سند (Whole-document indexing)، که در اون صفحات به عنوان واحدهای کامل بازیابی و رتبه‌بندی می‌شن

. ۲. ایندکس کردن زیر-سندی (Sub-document indexing)، که در اون معنا به صورت قطعات ریز ذخیره و بازیابی می‌شه.

توی نسخه اول، هوش مصنوعی روی جستجوی سنتی سوار می‌شه و صفحات رتبه‌بندی شده رو خلاصه می‌کنه. توی نسخه دوم، سیستم هوش مصنوعی قطعات رو مستقیماً بازیابی می‌کنه و اصلاً روی کل سندها استدلال نمی‌کنه.

بنابراین کیفیت پاسخ با اشباع کردنِ پنجره بافت محدود می‌شه؛ یعنی دقت از پر کردن کل پنجره بافتِ مدل با قطعات مرتبط به دست می‌آد. وقتی بازیابی اطلاعات توی اشباع کردن اون پنجره موفق عمل کنه، مدل توانایی کمی برای اختراع حقایق یا توهم زدن (hallucinate) خواهد داشت.

منبع: https://www.searchenginejournal.com/perplexity-ai-interview-explains-how-ai-search-works/565395/