מחקר: עד כמה האתרים בישראל מוכנים למנועי AI
בדקנו 1,331 אתרים של חברות, אוניברסיטאות ומכללות, בתי חולים ורשויות מקומיות בישראל. שאלנו שלוש שאלות טכניות פשוטות: האם האתר נותן לזחלנים של ChatGPT, Claude ו-Perplexity להיכנס, האם הוא מסביר למנוע מי הוא בעזרת נתונים מובנים, והאם יש לו קובץ llms.txt. התשובה מפתיעה, ולא בכיוון שרוב האנשים מנחשים.
הבעיה של רוב האתרים היא לא שהם חוסמים את הבינה המלאכותית. כמעט אף אחד לא חוסם. הבעיה היא שמחצית מהם לא מציגים את עצמם למנוע בכלל.
מה המחקר בדק, ולמה זה משנה לכל מי שיש לו אתר
כשמישהו שואל את ChatGPT איזו חברה מתאימה לו, המנוע צריך שני דברים כדי להמליץ עליכם: גישה לאתר, והבנה ברורה של מי אתם. גישה נקבעת בקובץ robots.txt. הבנה נבנית בין השאר מנתונים מובנים בקוד העמוד, שאומרים במפורש מה שם העסק, מה הוא עושה ואיפה הוא נמצא. llms.txt הוא קובץ חדש יותר שמסכם את האתר בשביל מודלי שפה. הוא עדיין לא סטנדרט מחייב, ולכן בדקנו אותו בעיקר כמדד לתשומת לב.
לכל אתר בדקנו את דף הבית, את קובץ ה-robots.txt ואת הכתובת llms.txt. את הכללים בקובץ פענחנו לפי התקן של גוגל, כולל כוכביות וכללים לפי זחלן, עבור 14 זחלני AI.
כמה אתרים בישראל חוסמים את ChatGPT? כמעט אף אחד
81 אתרים, שהם 6.1% מהמדגם, חוסמים לפחות זחלן אימון אחד כמו GPTBot, Google-Extended או CCBot. אבל 77 מתוכם ממשיכים לאפשר את OAI-SearchBot, הזחלן שמביא את האתר לתשובות החיפוש של ChatGPT. כלומר הם מסרבים שהתוכן ישמש לאימון מודלים ועדיין רוצים להופיע בתשובות. זו בדיוק ההבחנה הנכונה, וכתבנו עליה בהרחבה במדריך robots.txt לזחלני AI.
רק 9 אתרים, 0.7%, חוסמים זחלן תשובות. ברובם זה קורה בגלל כלל גורף שחוסם את כל הזחלנים, ולא כהחלטה מכוונת נגד AI.
ממצא נוסף: 53 מתוך 81 האתרים שחוסמים אימון עושים את זה דרך קובץ robots.txt מנוהל של Cloudflare, שמוסיף את השורה Content-Signal. בעל האתר לחץ על מתג אחד בלוח הבקרה של ספק התשתית, ולא כתב שורה אחת בעצמו.
הפער האמיתי בנראות במנועי AI: אתרים שלא מציגים את עצמם
כמעט מחצית מהאתרים לא מסמנים בדף הבית מי עומד מאחוריהם. אין שם ארגון, אין לוגו מוגדר, אין קישור לפרופילים הרשמיים. מנוע שקורא את העמוד צריך לנחש, ומנוע שמנחש נוטה להמליץ על מישהו אחר.
שיעור האתרים שיש בדף הבית שלהם סימון ארגון בנתונים מובנים, לפי סוג הגוף.
זה החלק שהכי קל לתקן. סימון ארגון הוא קטע קוד אחד בדף הבית, ובמדריך שלנו לנתונים מובנים (Schema) מוסבר בדיוק מה הוא צריך לכלול.
האתר שלכם נמצא בצד הנכון של הנתונים האלה? הבדיקה החינמית שלנו מריצה עליו את אותן בדיקות ומראה מה המנועים רואים כשהם מגיעים אליכם.
בדקו את האתר שלכם בחינםllms.txt בישראל: ההייטק כבר שם, המגזר הציבורי עוד לא
26.9% מהאתרים שבדקנו כבר מפרסמים קובץ llms.txt. המספר הזה גבוה בעיקר בזכות חברות הטכנולוגיה במדגם. בחברות עם דומיין co.il השיעור הוא 23.9%, ובחברות עם דומיין בינלאומי הוא מגיע ל-32%.
האם llms.txt משפיע על הציטוט במנועים? בינתיים אין לזה הוכחה, ובמאמר על llms.txt מול robots.txt פירטנו מתי הוא שווה את הזמן. אבל הפער בין הסקטורים מספר משהו ברור: מי שמנהל את האתר שלו באופן פעיל כבר התחיל להתכונן לחיפוש מבוסס AI, ומי שלא, עוד לא התחיל.
כך נראית מוכנות למנועי AI לפי סוג הגוף
| סוג הגוף | אתרים | robots.txt | נתונים מובנים | llms.txt | שלושתם |
|---|---|---|---|---|---|
| חברות | 1,195 | 88.3% | 50.9% | 28.7% | 21.3% |
| אקדמיה | 58 | 93.1% | 48.3% | 19% | 10.3% |
| בתי חולים | 36 | 94.4% | 41.7% | 8.3% | 5.6% |
| רשויות מקומיות | 42 | 66.7% | 16.7% | 2.4% | 0% |
| סך הכל | 1,331 | 88% | 49.4% | 26.9% | 19.8% |
שליש מאתרי הרשויות שנבדקו לא מחזירים בכלל קובץ robots.txt תקין. אף רשות במדגם לא עומדת בשלושת היסודות.
איך להפוך את האתר שלכם למוכן למנועי AI בשלושה צעדים
- פתחו את קובץ robots.txt (הכתובת שלכם, ואחריה /robots.txt) וודאו ש-OAI-SearchBot, Claude-SearchBot ו-PerplexityBot לא חסומים. אם אתם על Cloudflare, בדקו מה מוגדר תחת ניהול זחלני AI.
- הוסיפו סימון ארגון לדף הבית עם שם העסק, לוגו, כתובת וקישורים לפרופילים הרשמיים. זה הצעד שמזיז הכי הרבה עם הכי מעט עבודה.
- החליטו על llms.txt בצורה מושכלת. באתר תוכן גדול או באתר תיעוד יש לו היגיון. באתר תדמית קטן הוא לא ישנה את התמונה.
אחרי זה מגיע החלק שבאמת מכריע אם ימליצו עליכם: תוכן שמנוע יכול לצטט ואזכורים שלכם במקומות אחרים ברשת. זו העבודה שאנחנו עושים בשירות קידום במנועי AI.
שיטת המחקר
רשימת האתרים נלקחה מ-Wikidata: כל ארגון שמוגדר כישראלי ויש לו אתר רשמי, בארבע קבוצות. חברות, מוסדות להשכלה גבוהה, בתי חולים ורשויות מקומיות. מתוך 1,722 כתובות ייחודיות, 1,331 הגיבו ונכללו בניתוח. הבדיקה נעשתה ב-1 בנובמבר.
- חסימה: פענוח robots.txt לפי התקן של גוגל (קבוצה ספציפית לזחלן גוברת על כוכבית, הכלל הארוך ביותר קובע) עבור דף הבית, ב-14 זחלני AI.
- נתונים מובנים: JSON-LD בדף הבית מסוג Organization או תת-סוג שלו (LocalBusiness, CollegeOrUniversity, Hospital ועוד).
- llms.txt: קובץ טקסט שמחזיר קוד 200 ואינו עמוד HTML.
רוצים לצטט את המחקר?
מותר ואפילו רצוי. עיתונאים, מרצים ובעלי בלוגים מוזמנים להשתמש בכל נתון ובכל טבלה מהעמוד, בתנאי שמציינים את המקור עם קישור לעמוד הזה.
מקור: מחקר מוכנות אתרים למנועי AI בישראל, מג'יק מרקטינג
לנתונים מלאים יותר, לפילוח נוסף או לראיון על הממצאים, פנו אלינו דרך עמוד יצירת הקשר.
שאלות נפוצות
האם כדאי לחסום את GPTBot באתר?
זו החלטה עסקית. GPTBot אוסף תוכן לאימון מודלים, וחסימה שלו לא מוציאה אתכם מהתשובות של ChatGPT. מה שאסור לחסום אם אתם רוצים להופיע בתשובות הוא OAI-SearchBot.
איך בודקים אם האתר שלי מוכן למנועי AI?
אפשר לפתוח ידנית את robots.txt ואת קוד דף הבית, או להריץ את בדיקת הנראות החינמית שבודקת את זה בשבילכם בכמה שניות.
אם האתר שלי פתוח לזחלנים, ChatGPT ימליץ עליי?
לא בהכרח. גישה היא רק תנאי סף. ההמלצה עצמה נשענת על תוכן שעונה על השאלה, על מידע ברור על העסק ועל אזכורים שלכם במקורות שהמנוע סומך עליהם.
האם המחקר יתעדכן?
כן. נריץ את אותה בדיקה שוב בכל רבעון ונעדכן את הנתונים בעמוד הזה, כדי לראות איך השוק מתקדם.
רוצים שהאתר שלכם יהיה בין ה-20% המוכנים? נבדוק אותו, נתקן את היסודות ונבנה את התוכן ואת האזכורים שגורמים למנועים להמליץ עליכם.
בדיקת נראות AI חינםלשירות קידום במנועי AI
מייסד ומנכ"ל מג'יק מרקטינג. מאז 2018 מקדם אתרים של עסקים בישראל בגוגל ובמנועי AI, ובודק כל שיטה קודם על האתר של מג'יק. מתמחה בקידום אורגני, SEO טכני ו-GEO. לא קונה קישורים, לא מבטיח מקום ראשון, ומודד את מה שחשוב באמת: פניות.
