מאת פאבל ויינשטיין, Webflowforge · עודכן ב-16 בנובמבר 2026
בקצרה: מנועי חיפוש מבוססי AI יכולים לצטט רק מה שהם מצליחים להוריד, לקרוא ולקשר למותג שלכם. מבחינה טכנית זה אומר שישה דברים: לאפשר לבוטים של חיפוש ואחזור להיכנס דרך robots.txt, להגיש את התוכן החשוב כבר ב-HTML הראשוני, לפרסם גרף JSON-LD מקושר אחד לחברה ולמוצר, לכתוב סעיפים שמובנים גם כשהם עומדים לבד, לשלוח סימני עדכניות מדויקים, ולמדוד גם תנועה שמגיעה ממנועי AI וגם ביקורי בוטים. הקוד לכל שלב מופיע בהמשך, ורשימת התיוג המלאה בסוף.
רוב העצות על GEO עוסקות בתוכן. התוכן חשוב, אבל באתרי שיווק של חברות SaaS אנחנו נתקלים קודם כול באותן בעיות טכניות: קובץ robots.txt שהועתק מרשימת חסימות של 2023, טבלת מחירים שקיימת רק אחרי ש-JavaScript רץ, סכמה שמוזרקת דרך Google Tag Manager, ואין שום דרך לדעת אם ChatGPT או Perplexity שלחו אי פעם מבקר. אף אחת מהבעיות האלה לא עולה בבדיקת SEO רגילה, כי Googlebot מריץ JavaScript ורוב סורקי ה-AI לא.
המדריך מתאים לכל פלטפורמה: Webflow, WordPress, Next.js או CMS מסוג headless. בדוגמאות מופיע example.com; החליפו אותו בדומיין שלכם.
גישת סריקה: להחליט אילו בוטים של AI נכנסים
כל ספקי ה-AI הגדולים מפעילים היום סוכנים נפרדים לאימון מודלים, לאינדוקס לחיפוש ולשליפת עמוד בזמן אמת בשביל משתמש. לכל אחד מהם יש token משלו ב-robots.txt, וחסימה של אחד לא חוסמת את האחרים. זה הדבר הכי שימושי לדעת על גישה של סורקי AI:
- OpenAI: GPTBot אוסף נתונים לאימון. OAI-SearchBot מאנדקס עמודים לחיפוש של ChatGPT, ולפי OpenAI אתרים שחוסמים אותו לא יוצגו בתשובות החיפוש. ChatGPT-User שולף עמוד כשמשתמש מבקש, ולפי OpenAI ייתכן שכללי robots.txt לא חלים עליו.
- Anthropic: ClaudeBot (אימון), Claude-SearchBot (אינדוקס לחיפוש) ו-Claude-User (בקשות של משתמשים). לפי Anthropic, שלושתם מכבדים את robots.txt.
- Perplexity: PerplexityBot (אינדקס) ו-Perplexity-User (שליפה בזמן אמת).
- Google: Google-Extended הוא token לשליטה, לא סורק נפרד. הוא קובע אם התוכן שלכם ישמש למודלים של Gemini. הוא לא מוציא אתכם מחיפוש Google או מ-AI Overviews, שפועלים על Googlebot.
הגדרה נפוצה לאתר שיווק של חברת SaaS: לחסום אימון אם המחלקה המשפטית רוצה בכך, להשאיר פתוח כל סוכן של חיפוש ואחזור, ולהפנות את כולם למפת האתר.
# Training crawlers: your call. Blocking them does not remove you from AI search.
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
# Search and retrieval: keep these open if you want to be cited.
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: Claude-User
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Perplexity-User
Allow: /
User-agent: *
Allow: /
Sitemap: https://www.example.com/sitemap.xmlשתי מלכודות שכדאי לבדוק אחרי ההעלאה:
- tokens ישנים.
anthropic-aiו-Claude-Webכבר לא בשימוש. כללים שמזכירים אותם לא עושים כלום. - ה-CDN או חומת האש. הגנת בוטים ב-Cloudflare או ב-WAF יכולה לחסום סורק ש-robots.txt מאפשר. בדקו את הגדרות הבוטים ואת הלוגים, וחפשו תגובות 403 ל-user agents האלה.
רוצים ליישם את זה בעסק שלכם?
רינדור: לוודא שהתוכן נמצא ב-HTML
Googlebot מריץ JavaScript. רוב סורקי ה-AI לא. ניתוח הסורקים של Vercel מצא ש-GPTBot, OAI-SearchBot, ChatGPT-User ו-ClaudeBot מורידים קובצי JavaScript אבל לא מריצים אותם. כל מה שהשרת שולח בתגובת ה-HTML הראשונה הוא כל מה שהם קוראים.
באתרי שיווק רוב התוכן כבר מרונדר בצד השרת. הבעיה היא בחלקים שנוספים בדפדפן:
- טבלאות מחירים או פרטי חבילות שנטענים מ-API.
- ווידג'טים של ביקורות, סיפורי לקוח ולוגואים שמוטמעים דרך סקריפטים חיצוניים.
- רשימות CMS שטוענות עוד פריטים עם JavaScript (גלילה אינסופית, כפתור "טען עוד", סינון בצד הלקוח).
- JSON-LD שמתווסף דרך Google Tag Manager. סורק שלא מריץ סקריפטים לא רואה אותו בכלל.
תוכן שמוסתר עם CSS, כמו לשוניות ואקורדיונים סגורים, הוא בסדר. הוא עדיין נמצא ב-HTML. השאלה היחידה היא אם הטקסט קיים לפני שהסקריפטים רצים. בדקו את חמשת העמודים החשובים ביותר שלכם:
# What a non-rendering crawler receives: raw HTML, no JavaScript.
curl -s -A "Mozilla/5.0 (compatible; OAI-SearchBot/1.4)" https://www.example.com/pricing > raw.html
# 1) Is the key sentence in the HTML?
grep -c "Plans start at" raw.html
# 2) Is the JSON-LD in the HTML (not injected later by GTM)?
grep -c "application/ld+json" raw.html
# 3) Rough size check: visible words in the raw response
sed -e 's/<[^>]*>/ /g' raw.html | wc -wאם בדיקה נכשלת, העבירו את התוכן הזה לתבנית שמרונדרת בשרת, או השתמשו ברינדור בצד השרת או ב-prerendering לנתיב הזה. לווידג'טים שאי אפשר לשנות, הוסיפו לידם סיכום ב-HTML רגיל: שלושה ציטוטי לקוחות כטקסט, המחיר כטקסט.
נתונים מובנים: לפרסם גרף ישויות מקושר אחד
מנועי AI צריכים להבין שהחברה בעמוד הבית, המוצר בעמוד המחירים והפרופילים ב-LinkedIn וב-G2 הם אותו דבר. בלוקים נפרדים של סכמה בכל עמוד לא אומרים את זה. @graph אחד עם ערכי @id קבועים כן:
<script type="application/ld+json">
{
"@context": "https://schema.org",
"@graph": [
{
"@type": "Organization",
"@id": "https://www.example.com/#org",
"name": "Example",
"url": "https://www.example.com/",
"logo": "https://www.example.com/logo.png",
"sameAs": [
"https://www.linkedin.com/company/example",
"https://www.g2.com/products/example",
"https://www.crunchbase.com/organization/example",
"https://www.wikidata.org/wiki/Q000000"
]
},
{
"@type": "WebSite",
"@id": "https://www.example.com/#website",
"url": "https://www.example.com/",
"name": "Example",
"publisher": { "@id": "https://www.example.com/#org" }
},
{
"@type": "SoftwareApplication",
"@id": "https://www.example.com/#product",
"name": "Example",
"applicationCategory": "BusinessApplication",
"operatingSystem": "Web",
"publisher": { "@id": "https://www.example.com/#org" },
"offers": { "@type": "Offer", "price": "49", "priceCurrency": "USD" }
},
{
"@type": "WebPage",
"@id": "https://www.example.com/pricing#webpage",
"url": "https://www.example.com/pricing",
"name": "Example pricing",
"isPartOf": { "@id": "https://www.example.com/#website" },
"about": { "@id": "https://www.example.com/#product" },
"dateModified": "2026-11-16"
}
]
}
</script>- שמרו על ערכי
@idקבועים. השתמשו באותם מזהים בכל העמודים, כך שכולם מצביעים על ארגון אחד ומוצר אחד. - ב-
sameAsשימו פרופילים שבשליטתכם או שמתארים אתכם נכון. LinkedIn, G2, Crunchbase, GitHub ו-Wikidata, אם יש לכם ערך. - שימו אותו בקוד המקור של העמוד. הוסיפו אותו ב-head של כל האתר או בתבנית העמוד, לא דרך tag manager.
- התאימו לעמוד הגלוי. המחיר, השם והתאריכים בסימון צריכים להיות זהים למה שמופיע בעמוד.
לגבי FAQPage: מאז 2023 גוגל מציגה תוצאות עשירות של שאלות נפוצות רק לקבוצה קטנה של אתרי ממשל ובריאות סמכותיים. הסימון עדיין תקין ועדיין מתאר את העמוד, אז השאירו אותו במקומות שיש בהם שאלות ותשובות אמיתיות, אבל אל תצפו לתוצאה עשירה בזכותו.
מבנה התוכן: לכתוב סעיפים שעומדים בפני עצמם
מנועי AI שולפים קטעים, לא עמודים שלמים. סעיף מצוטט כשהוא עדיין מובן גם אחרי שחותכים אותו מהעמוד. בכל עמוד חשוב:
- נסחו את הכותרות כשאלות שהקונים שואלים. "כמה עולה Example?" עובד טוב יותר מ"תמחור פשוט".
- ענו בשניים-שלושה המשפטים הראשונים מתחת לכותרת, ורק אחר כך הוסיפו פרטים. אל תפתחו בסיפור.
- כתבו שמות מלאים בכל סעיף. כתבו "דוח SOC 2 Type II של Example", לא "הוא" או "הדוח שלנו". לקטע שעומד לבד אין פסקה קודמת להפנות אליה.
- היו ספציפיים, עם יחידות ותאריכים. את "הסנכרון רץ כל 5 דקות בכל החבילות (נובמבר 2026)" אפשר לצטט. את "סנכרון מהיר כברק" אי אפשר.
- שימו השוואות בטבלאות HTML. חבילות, אינטגרציות ועמודי "אנחנו מול חלופה" נשלפים לתשובות לעיתים קרובות.
- השתמשו באותם שמות בכל מקום. אותו שם מוצר, אותה קטגוריה ואותו תיאור בשורה אחת באתר, ב-LinkedIn, ב-G2 ובמדריכים.
העמודים שבדרך כלל זוכים לציטוטים באתרי SaaS הם עמודי מחירים, אינטגרציות, השוואות וחלופות, אבטחה ותאימות, ותיעוד. התחילו משם, לא מהבלוג.
סימני עדכניות: מפות אתר, IndexNow ו-llms.txt
מנועי תשובות מעדיפים מידע עדכני, והם צריכים דרך לגלות שעמוד השתנה.
lastmodמדויק. עדכנו אותו רק כשהתוכן באמת משתנה. מפת אתר שבה כל עמוד משתנה כל יום מלמדת את הסורקים להתעלם מהשדה.- תאריך "עודכן" גלוי בעמודים שבהם זה חשוב (מחירים, השוואות, מדריכים), שתואם ל-
dateModifiedב-JSON-LD. - IndexNow. Bing, Yandex ומנועים נוספים מקבלים הודעות על שינויים. Bing מזין את התשובות של Copilot, אז סריקה מחודשת מהירה ב-Bing שווה את המאמץ. Google לא משתמשת ב-IndexNow.
# Tell Bing (and other IndexNow engines) a page changed. Google does not use IndexNow.
curl -X POST "https://api.indexnow.org/indexnow" \
-H "Content-Type: application/json; charset=utf-8" \
-d '{
"host": "www.example.com",
"key": "YOUR_INDEXNOW_KEY",
"keyLocation": "https://www.example.com/YOUR_INDEXNOW_KEY.txt",
"urlList": ["https://www.example.com/pricing", "https://www.example.com/blog/new-post"]
}'llms.txt הוא קובץ Markdown מוצע בכתובת /llms.txt שמפרט את העמודים החשובים שלכם עבור מודלי שפה. אף אחד מספקי חיפוש ה-AI הגדולים לא הודיע שהוא משתמש בקובץ כדי לבחור ציטוטים. ההוספה לוקחת כמה דקות, אז אפשר להוסיף, אבל אל תסמכו עליו.
מדידה: תנועה ממנועי AI, לוגים של בוטים ובדיקת פרומפטים
אי אפשר לשפר את מה שלא מודדים, ונראות ב-AI דורשת שלוש מדידות נפרדות.
תנועה ממנועי AI ב-GA4
צרו קבוצת ערוצים מותאמת (Admin ← Data display ← Channel groups) עם ערוץ בשם "AI assistants", שבו Source matches regex:
chatgpt\.com|chat\.openai\.com|perplexity\.ai|gemini\.google\.com|copilot\.microsoft\.com|claude\.aiהזיזו את הערוץ מעל Referral, כי GA4 משייך סשן לערוץ הראשון שהכללים שלו מתאימים. צפו לספירה חסרה: חלק מאפליקציות ה-AI לא שולחות referrer, ולכן חלק מהתנועה הזו מופיעה כ-Direct.
ביקורי בוטים בלוגים של השרת או ה-CDN
הלוגים מראים אילו עמודים בוטי האחזור קוראים. GA4 לא יכול להראות את זה, כי הבוטים האלה לא מריצים את סקריפט האנליטיקס.
# Which AI agents hit the site, and how often (combined log format)
grep -Eio "gptbot|oai-searchbot|chatgpt-user|claudebot|claude-searchbot|claude-user|perplexitybot|perplexity-user" access.log \
| tr 'A-Z' 'a-z' | sort | uniq -c | sort -rn
# Top pages fetched by the retrieval bots (the ones that feed citations)
awk -F'"' 'tolower($6) ~ /oai-searchbot|chatgpt-user|claude-searchbot|claude-user|perplexity/ \
{ split($2, r, " "); print r[2] }' access.log | sort | uniq -c | sort -rn | head -20אפשר לזייף מחרוזות user agent. כשזה חשוב, בדקו את כתובת ה-IP של הבקשה מול הטווחים שהספק מפרסם (OpenAI מפרסמת את openai.com/searchbot.json ואת openai.com/gptbot.json). בפלטפורמות מתארחות שאין בהן לוגים גולמיים, השתמשו בלוגים של ה-CDN או בדוחות הבוטים של הפלטפורמה.
בדיקת פרומפטים חודשית
כתבו 15 עד 25 פרומפטים שהקונים שלכם באמת שואלים ("ה-[קטגוריה] הכי טוב ל-[שימוש]", "[אתם] מול [מתחרה]", "[אתם] מחירים"). הריצו את אותה רשימה כל חודש ב-ChatGPT, Perplexity, Gemini, Claude וב-AI Overviews של Google. תעדו אם הוזכרתם, אם צוטטתם, איזו כתובת שלכם צוטטה ואילו מתחרים הופיעו. הכתובות שצוטטו מראות לכם אילו עמודים לשפר בהמשך.
רשימת תיוג ל-GEO טכני
| בדיקה | איך בודקים | עובר כאשר |
|---|---|---|
| בוטי חיפוש ואחזור מורשים | קוראים את /robots.txt | OAI-SearchBot, Claude-SearchBot, PerplexityBot וסוכני המשתמש לא חסומים |
| אין tokens ישנים | מחפשים ב-robots.txt את anthropic-ai ו-Claude-Web | לא נשארו, או שהוחלפו ב-tokens עדכניים |
| ה-CDN או ה-WAF לא חוסמים | הגדרות בוטים ולוגים | אין תגובות 403 ל-user agents של AI |
| התוכן החשוב ב-HTML הגולמי | curl לעמוד ו-grep | המחיר, שמות החבילות והטענות המרכזיות נמצאים |
| JSON-LD בקוד המקור | grep ל-application/ld+json | קיים גם בלי JavaScript |
| גרף ישויות אחד | בדיקה ב-validator.schema.org | ערכי @id קבועים ו-sameAs מלא |
| סעיפים שעומדים לבד | קוראים כל סעיף H2 בנפרד | כותרת בצורת שאלה, תשובה בהתחלה, שמות מלאים |
| עדכניות מדויקת | lastmod במפת האתר ותאריך בעמוד | משתנים רק כשהתוכן משתנה |
| IndexNow | שולחים הודעה אחרי פרסום | מתקבלת תגובה 200 או 202 |
| ערוץ AI ב-GA4 | דוח Traffic acquisition | ערוץ AI assistants מעל Referral |
| סקירת לוגים של בוטים | שאילתת לוגים חודשית | בוטי האחזור מגיעים לעמודים החשובים |
| בדיקת פרומפטים | גיליון פרומפטים חודשי | אזכורים וכתובות מצוטטות נמדדים לאורך זמן |
סדר עבודה טוב לצוות שיש לו ספרינט אחד: קודם robots.txt וה-CDN (שעה), אחר כך בדיקות הרינדור בעמודים המובילים, אחר כך גרף הישויות, ואז ערוץ ה-GA4. ארגון מחדש של התוכן ובדיקות הפרומפטים באים אחר כך, כי אין טעם בקטעים טובים יותר שהסורקים לא מצליחים להוריד.
קריאה נוספת: צ'אטבוט AI ל-Webflow: מדריך RAG · הטמעת תהליכי AI · ספרו לנו על הפרויקט
שאלות נפוצות
לא. GPTBot הוא סורק האימון של OpenAI. החיפוש של ChatGPT משתמש ב-OAI-SearchBot, שיש לו token נפרד ב-robots.txt. אפשר לחסום את GPTBot כדי לצאת מהאימון ועדיין לאפשר את OAI-SearchBot, כך שהעמודים שלכם יוכלו להופיע בתשובות החיפוש של ChatGPT. אותה חלוקה קיימת גם ב-Anthropic (ClaudeBot מול Claude-SearchBot) וב-Perplexity.
ברוב המקרים לא. ניתוחי סריקה מצאו שהסורקים של OpenAI ושל Anthropic מורידים קובצי JavaScript אבל לא מריצים אותם, ולכן הם רואים רק את ה-HTML הראשוני. Google היא היוצאת מן הכלל, כי תכונות ה-AI שלה משתמשות ב-Googlebot, שמרנדר עמודים. בדקו עמוד עם curl או עם JavaScript כבוי כדי לראות מה סורק שלא מרנדר מקבל.
צרו קבוצת ערוצים מותאמת עם ערוץ AI assistants שבו המקור תואם ל-regex כמו chatgpt.com, perplexity.ai, gemini.google.com, copilot.microsoft.com ו-claude.ai, ומקמו אותו מעל Referral. חלק מאפליקציות ה-AI לא שולחות referrer, אז התייחסו למספר כרף תחתון, והשתמשו בלוגים של השרת כדי לראות אילו עמודים בוטי ה-AI מורידים.





