קובץ robots.txt לבוטים של AI, כדי ש-ChatGPT, Gemini ו-Claude יוכלו לקרוא את האתר ולהמליץ עליו

מנוע AI לא ימליץ על עמוד שאסור לו לקרוא. וזה בדיוק מה שקורה באתרים רבים: שורה אחת בקובץ robots.txt, מתג בחומת האש או תוסף אבטחה שמישהו התקין פעם, והבוט של ChatGPT נשאר בחוץ. העסק כותב תוכן, משקיע בקידום, ולא מבין למה הוא לא מופיע בתשובות.

במדריך הזה נבדוק את הקובץ שלכם בשתי דקות, נעבור על כל בוט שחשוב לדעת ומה הוא עושה, ונבנה יחד קובץ שפותח את האתר למנועי התשובות ומשאיר לכם את ההחלטה אם לתת לחברות ה-AI לאמן מודלים על התוכן.

איך בודקים את קובץ robots.txt שלכם בשתי דקות

הקובץ ציבורי. כל אחד יכול לראות אותו, כולל אתם, בלי שום כלי. פותחים דפדפן ומקלידים את הדומיין ואחריו /robots.txt, למשל yoursite.co.il/robots.txt.

1. מחפשים את השורה Disallow: / מתחת ל-User-agent: *. הכוכבית פירושה כל הבוטים. לוכסן לבד אחרי Disallow פירושו כל האתר. השילוב הזה סוגר את האתר בפני כולם, וזה קורה יותר ממה שנדמה, בדרך כלל כשאתר עלה מסביבת פיתוח ואף אחד לא מחק את החסימה.
2. מחפשים שמות של בוטי AI. GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot, Google-Extended. אם אחד מהם מופיע עם Disallow: /, צריך לבדוק אם זה מה שהתכוונתם.
3. מחפשים שמות ישנים. anthropic-ai או Claude-Web הם שמות ש-Anthropic כבר לא משתמשת בהם. כלל שכתוב עליהם לא חוסם וגם לא מתיר שום דבר, ונותן תחושת שליטה מזויפת.
4. אם הקובץ נראה תקין, בודקים את חומת האש. ב-Cloudflare ובחלק משירותי האחסון יש מתג לחסימת בוטים של AI שפועל ברמת השרת. הוא חוסם גם כשהקובץ אומר Allow, ובחשבונות חדשים הוא לפעמים דלוק כברירת מחדל.

הסעיף הרביעי הוא המלכודת הכי נפוצה. בעל האתר פותח את robots.txt, רואה שהכל פתוח ונרגע. בפועל הבוט נעצר שורה אחת קודם, בחומת האש, ולא מגיע בכלל לקובץ.

למה robots.txt קובע אם ChatGPT ממליץ עליכם

כשמישהו שואל את ChatGPT על ספק שירות, המנוע מחפש ברשת, שולף עמודים ובונה תשובה. כדי לשלוף עמוד הוא צריך גישה אליו. אם robots.txt חוסם את הבוט שאחראי על החיפוש, העמוד שלכם פשוט לא נכנס לרשימת המקורות, גם אם הוא הכי טוב בתחום.

הנקודה שרוב בעלי האתרים מפספסים: לכל חברת AI יש כמה בוטים, ולכל אחד תפקיד אחר. בוט אחד אוסף תוכן לאימון מודלים. בוט אחר בונה אינדקס למנוע החיפוש. בוט שלישי נכנס לעמוד ברגע שמשתמש מבקש. מי שחוסם את כולם בבת אחת כדי להגן על התוכן שלו מאימון, מעלים את עצמו גם מהתשובות.

הבוטים של מנועי ה-AI: מי עושה מה, ואת מי לא חוסמים לעולם

הטבלה מבוססת על התיעוד הרשמי של כל חברה. העמודה האחרונה היא ההמלצה שלנו לעסק שרוצה להופיע בתשובות.

אם בינג לא מכיר את האתר שלכם בכלל, כדאי להתחיל משם. כתבנו מדריך נפרד על ההגדרות בבינג שמכניסות אתכם לתשובות של צ'אטבוטים.

לחסום אימון או לא? ההחלטה שהקובץ לא יקבל בשבילכם

שלושת הבוטים שסימנו כהחלטה עסקית קשורים לאימון מודלים, לא לתשובות. חסימה שלהם לא מוציאה אתכם מהחיפוש של ChatGPT או Claude. השאלה היא אם אתם רוצים שהתוכן שלכם ישמש לאימון של הדור הבא.

העמדה שלנו לעסק שנותן שירות: לא לחסום. התוכן באתר שלכם הוא שיווק. הוא נכתב כדי שיקראו אותו, ושמנועים יכירו את השם ואת התחום שלכם. מודל שלמד שהעסק שלכם מתמחה בתחום מסוים יודע לקשר ביניהם גם כשהוא לא מחפש ברשת.

מתי כן לחסום אימון? כשהתוכן הוא המוצר. אתר של קורסים בתשלום, מאגר מידע, מחקר מקורי שאתם מוכרים, או תוכן שאתם לא רוצים שיופיע בניסוח של מישהו אחר. במקרים האלה חוסמים את GPTBot, ClaudeBot ו-Google-Extended, ומשאירים פתוחים את בוטי החיפוש.

קובץ robots.txt מוכן לאתר וורדפרס שרוצה להופיע ב-AI

זו תבנית שמתאימה לרוב אתרי העסקים בוורדפרס. היא פותחת את כל בוטי החיפוש, סוגרת את אזור הניהול ומשאירה לכם שורות מוכנות לחסימת אימון, אם תחליטו עליה. מחליפים את הדומיין בשורה האחרונה.

שימו לב שאין כאן קבוצה נפרדת ל-OAI-SearchBot או ל-Claude-SearchBot. אין בה צורך: הם נכללים בכוכבית, ולכן מקבלים גישה לכל מה שלא נסגר.

הטעות שפותחת את אזור הניהול לבוטים

בוט קורא רק קבוצה אחת: הקבוצה הכי מדויקת שמתאימה לשם שלו. אם תוסיפו קבוצה User-agent: OAI-SearchBot עם Allow: / כדי להיות בטוחים, הבוט יתעלם לגמרי מהכללים שתחת הכוכבית. כלומר, מבחינתו אזור הניהול כבר לא סגור. מי שרוצה קבוצה נפרדת לבוט מסוים, מעתיק אליה את כל הכללים שצריכים לחול עליו.

איפה עורכים את robots.txt בוורדפרס

באתר עם Rank Math נכנסים ל-Rank Math, הגדרות כלליות, עריכת robots.txt. אם השדה נעול, יש קובץ פיזי בתיקייה הראשית של האתר שגובר עליו, ועורכים אותו דרך מנהל הקבצים של האחסון. אחרי השמירה פותחים את הכתובת בדפדפן ומוודאים שהשינוי באמת מופיע, כי שכבת מטמון יכולה להציג את הגרסה הישנה עוד זמן מה.

חמש טעויות ב-robots.txt שמעלימות אתרים ממנועי AI

חסימה שנשארה מתקופת הבנייה. וורדפרס מאפשר לסמן שהאתר לא יופיע במנועי חיפוש בזמן הפיתוח. מי ששוכח לבטל את הסימון אחרי ההשקה סוגר את האתר לכולם. בודקים בהגדרות, קריאה, את התיבה של נראות למנועי חיפוש.

חסימה של כל הבוטים שיש בשמם AI. רשימות חסימה שמועתקות מפורומים כוללות לרוב גם את OAI-SearchBot ואת Claude-SearchBot. התוצאה: הגנתם על התוכן מאימון, ונעלמתם מהתשובות.

חסימה של קבצי CSS ו-JavaScript. גוגל צריך אותם כדי לראות את העמוד כמו גולש. כלל כמו Disallow: /wp-content/ שובר את התצוגה מבחינתו.

שימוש ב-Disallow כדי להוציא עמוד מגוגל. זה לא עובד. Disallow מונע סריקה, לא הופעה בתוצאות. עמוד חסום יכול להופיע בגוגל בלי תיאור. כדי להוציא עמוד משתמשים בתג noindex ומשאירים אותו פתוח לסריקה, אחרת גוגל לא יראה את התג.

הסתרת עמודים רגישים דרך הקובץ. robots.txt הוא רשימה ציבורית. כתובת שרשמתם בו כדי להסתיר אותה, גלויה עכשיו לכל מי שפותח את הקובץ. עמוד רגיש מגינים בסיסמה.

הכללים המלאים של הקובץ, כולל סדר הקדימויות בין Allow ל-Disallow, מופיעים בתיעוד של גוגל על robots.txt.

איך יודעים שהבוטים של AI באמת נכנסים אחרי התיקון

OpenAI מציינת שלוקח לה כיממה להתעדכן אחרי שינוי בקובץ. אצל השאר אין לוח זמנים מפורסם. שלוש דרכים לראות שהשינוי עבד:

• לוגים של השרת. בלוח הבקרה של האחסון מחפשים ביקורים של OAI-SearchBot, Claude-SearchBot ו-Bingbot. אם הם מופיעים ומקבלים קוד 200, הדלת פתוחה.
• תנועה ממנועי AI באנליטיקס. הפניות מ-chatgpt.com, gemini.google.com ו-claude.ai הן האות שהאתר כבר מצוטט. פירטנו איך מודדים תנועה ממנועי AI ב-GA4.
• שאלות קבועות. שואלים את ChatGPT, Gemini ו-Claude את אותן חמש שאלות על התחום שלכם פעם בחודש, ורושמים מי מופיע בתשובה.

שאלות נפוצות