AEO и AI търсене
Оптимизация за ChatGPT: как асистентът намира сайтове и защо не намира вашия
ChatGPT ви цитира, ако е могъл да прочете страницата ви и е намерил в нея отговор, който другите нямат. Чете през индекс и през собствения си краулър OAI-SearchBot, който не изпълнява JavaScript; сайт, който рисува съдържанието си в браузъра, е празен за него, колкото и добре да се класира в Google. Проверката е двадесет минути и е част от одита на AI видимост; безплатният одит прави първата ѝ част.
Как чете
Индекс, краулър, отговор: трите стъпки, в които може да отпаднете
Когато зададете на ChatGPT въпрос, за който му трябва мрежата, той първо търси в индекс, в голяма степен този на Bing, и получава списък от адреси. После тегли няколко от тях със собствения си краулър, OAI-SearchBot, и чете суровия HTML. Накрая съставя отговор от прочетеното и цитира източниците, обикновено три до шест. Отпадате на първата стъпка, ако сайтът ви не е в индекса на Bing, което при български сайтове е по-често, отколкото хората очакват, защото никой не е отворил Bing Webmaster Tools. Отпадате на втората, ако robots.txt или защитата на Cloudflare спира краулъра, или ако страницата е празна без JavaScript. Отпадате на третата, ако прочетеното не отговаря на въпроса или повтаря това, което е прочел другаде.
Инструментирането на Vercel и MERJ върху стотици милиони заявки показа, че сред големите AI краулъри само Googlebot, AppleBot и този на Bing изпълняват JavaScript. ClaudeBot тегли JavaScript файлове при 23,84% от заявките си и никога не ги изпълнява; OAI-SearchBot не го прави изобщо. Затова първото, което правим, е да отворим сайта ви като краулър: без скриптове, само HTML. Ако там има единадесет думи и една „зареждане…“, това е причината, независимо от всичко останало.
Краулърите на OpenAI
Три имена, три различни неща, и грешката, която виждаме най-често
Всеки слуша само собственото си име в robots.txt. Правило за едното не важи за другото, и сайт, който е блокирал грешното, може да е изчезнал от отговорите, докато собственикът е мислел, че е спрял обучението.
| Име | Какво прави | Слуша ли robots.txt | Нашата препоръка |
|---|---|---|---|
| GPTBot | Събира страници за обучение на бъдещи модели. Не участва в отговорите на търсене. | Да | Ваше решение. Блокирането му не променя дали ви цитират. |
| OAI-SearchBot | Тегли страница, за да отговори на конкретно търсене в ChatGPT. Това е краулърът, който решава дали ви цитират. | Да, но само правило с неговото име | Пуснат. Блокиран OAI-SearchBot означава отсъствие от отговорите. |
| ChatGPT-User | Задейства се, когато потребител даде адрес или поиска четене на страница в разговор. | Не; действа от името на потребител | Не може да се управлява и не е нужно. |
Cloudflare има превключвател „блокирай AI краулърите“, който спира всички тях наведнъж и се включва по подразбиране при някои планове. Проверяваме го на всеки сайт, защото сме го намирали включен там, където никой не го е искал.
Какво цитира
Отговорът в началото, фактите от първа ръка, и дължината на пасажа
ChatGPT не цитира страници, цитира пасажи. По данни на SE Ranking, които са трета страна и ги посочваме като такава, около 44% от цитатите в AI отговори идват от първите 30% на страницата, а цитираните пасажи се групират около 134 до 167 думи. Практическият превод: първият абзац на страницата трябва да е отговорът на въпроса ѝ, да стои сам, ако бъде изваден от контекста, и да съдържа самия факт. Страница за цени, която започва с „свържете се с нас за оферта“, дава на асистента нищо; страница, която започва с „SEO одитът струва 290 € и включва…“, дава цитат.
Второто е това, което Google нарича уникално съдържание от първа ръка и казва, че влияе повече от всичко друго. Асистентът търси нещо, което не е прочел в другите пет източника: срок, който сте измерили, число от собствената ви работа, подробност, която само човекът от бранша знае. Страница, съставена от общи изречения за „качество“ и „индивидуален подход“, е неразличима от хиляда други и не бива цитирана, защото няма какво да се цитира от нея.
Десет минути
Проверка, която можете да направите сами преди да платите на когото и да е
- Отворете robots.txt на сайта си и потърсете OAI-SearchBot, GPTBot и „Cloudflare Managed“; ако има блокиращо правило за OAI-SearchBot или управляван блок на Cloudflare, това е първата поправка.
- Изключете JavaScript в браузъра (или отворете „преглед на източника“) и вижте дали текстът на най-важната ви страница е там. Ако виждате празна страница или „зареждане“, краулърът вижда същото.
- Потърсете в Bing „site:вашиятдомейн.bg“. Ако резултатите са нула или няколко, отворете Bing Webmaster Tools и подайте картата на сайта; индексът на Bing храни ChatGPT.
- Задайте на ChatGPT пет въпроса, които клиент би задал за вашите услуги в града ви, с включено търсене. Запишете кой е цитиран. Ако това са портали и указатели, знаете какво трябва да надминете.
- Прочетете първия абзац на страницата за услугата си на глас. Отговаря ли на въпроса „какво, за кого, колко, за колко време“? Ако не, никой пасаж от нея не е готов за цитиране.
- Проверете дали Google Search Console показва страницата като индексирана. Ако не е, работата започва оттам, не от AI.
Тези шест точки са първата половина на одита на AI видимост. Втората половина е двадесетте въпроса, сравнението с цитираните и списъкът с промени по страница. Какво е общото и различното с AI Overviews на Google е на страницата за AI Overviews.
Заедно с това
Заедно с това
- 01AEO и AI търсенеОсемте условия, общи за всички асистенти, и как ги измерваме.
- 02Google AI OverviewsДругият голям източник на AI отговори, с различни правила за четене.
- 03Техническо SEOJavaScript, robots.txt и индексирането: поправките, без които ChatGPT не вижда нищо.
- 04ЦениОдитът 190 €, месечно с AEO от 390 €.
Въпроси за ChatGPT и сайта ви
Как ChatGPT решава кои сайтове да цитира?
Когато ChatGPT търси в мрежата, той праща заявка към индекс (в голяма степен този на Bing) и тегли няколко страници със собствения си краулър OAI-SearchBot, после съставя отговор от прочетеното и цитира източниците. Избира страници, които отговарят пряко на въпроса, могат да бъдат прочетени без JavaScript и съдържат факти, които другите нямат. Няма списък, в който да се регистрирате.
Как да се появя в ChatGPT за моя бранш?
Първо проверете дали изобщо ви чете: robots.txt трябва да пуска OAI-SearchBot, а суровият HTML на страницата трябва да съдържа текста, не само скрипт, който го зарежда. После проверете какво отговаря днес на десет въпроса от бранша ви и кой е цитиран. Ако това са указатели и портали, трябва ви страница, която отговаря по-добре от тях: с цена, със срок, с конкретика от първа ръка.
Трябва ли да блокирам GPTBot?
Решението е ваше, но трябва да го вземете, знаейки разликата: GPTBot е краулърът за обучение на модели, OAI-SearchBot е този, който чете страница, за да отговори на търсене. Блокирането на GPTBot не спира цитиранията; блокирането на OAI-SearchBot ги спира. Виждали сме сайтове, които са блокирали втория, мислейки, че спират първия.
Има ли смисъл да пиша страници „за ChatGPT“?
Не отделно. Страница, която е добра за клиент, който чете на телефон, и е четима от краулър без JavaScript, е добра и за ChatGPT. Пренаписването на текстове „за AI“ е сред нещата, които Google изрично казва да пренебрегнете, и при ChatGPT няма доказателство, че работи. Отговорът в първия абзац и фактите от първа ръка са това, което има значение.
Колко време отнема да се появя?
Няма определен срок, защото няма опашка. Ако страницата е достъпна и по-добра от цитираните днес, следващият път, когато асистентът търси по въпроса, може да я избере; ако не е, никакво чакане не помага. Затова първо записваме какво отговаря днес, после променяме, после проверяваме всеки месец.
Питаме ChatGPT за вас, преди да ви оферираме
Изпратете сайта и бранша си. Отваряме сайта като краулър, проверяваме robots.txt и Bing, задаваме пет въпроса на ChatGPT и ви казваме кой е цитиран вместо вас и защо.