הרבה אתרים חוסמים בלי לדעת את הבוטים של ChatGPT ו-Claude, בגלל הגדרה אחת ב-Cloudflare. במדריך: איך בודקים תוך 2 דקות, איך פותחים, ואיך עוזרים למנועי AI להבין ולצטט את העסק שלכם.
Wednesday, October 28, 2026
השבוע בדקתי אתר של אחד העסקים שאני עובד איתם.
עברתי על מה שבודקים תמיד: גוגל נכנס, יש מפת אתר, הכותרות והתיאורים במקום.
ואז בדקתי מה קורה כשהבוט של ChatGPT מנסה להיכנס.
התשובה שהוא קיבל:
"Your request was blocked."
גם הבוט של Claude קיבל אותה תשובה.
כלומר, כשמישהו שאל את ChatGPT על התחום שלנו, האתר בכלל לא היה במשחק.
לא בגלל התוכן. הדלת פשוט הייתה נעולה.
הסיבה: הגדרה אחת ב-Cloudflare שחוסמת "בוטים של אימון AI".
אף אחד לא הדליק אותה בכוונה.
כי אנשים כבר לא רק מחפשים בגוגל. הם שואלים את ChatGPT, את Perplexity, את Claude ואת Gemini, ומקבלים תשובה עם המלצות וקישורים.
כדי שמנוע AI ימליץ עליכם, הוא צריך שני דברים:
רוב בעלי העסקים עובדים על השני (תוכן), ולא בודקים בכלל את הראשון.
הדרך הכי פשוטה היא לבקש מהאתר את הדף, ולהציג את עצמכם כבוט של ChatGPT.
למי שלא נוגע בקוד: פותחים את ChatGPT ושואלים: "תיכנס לכתובת [האתר שלך] ותסכם לי מה כתוב שם". אם הוא עונה שהוא לא מצליח לגשת, זה סימן.
למי שנוח לו עם הטרמינל: פקודה אחת:
curl -s -o /dev/null -w "%{http_code}" -A "GPTBot" https://האתר-שלך.co.il
כדאי לבדוק גם עם ClaudeBot ו-PerplexityBot.
אם האתר שלכם עובר דרך Cloudflare, וזה המצב ברוב האתרים בישראל, החסימה יושבת כמעט תמיד כאן:
אצלנו Search ו-Agent כבר היו פתוחים. השורה Training הייתה על Disallow, וזה מה שחסם את GPTBot ואת ClaudeBot.
robots.txt הוא קובץ ההוראות לבוטים, והוא יושב בכתובת האתר-שלך/robots.txt.
פותחים אותו ומחפשים שורות כמו:
User-agent: GPTBot Disallow: /
אם הן קיימות, הן אומרות לבוט "אל תיכנס". מוחקים אותן, או משנים ל-Allow: /.
אחרי שמשנים את ההגדרה ב-Cloudflare, כדאי להיכנס שוב לקובץ ולוודא שלא נשארו בו שורות חסימה.
llms.txt הוא קובץ טקסט קצר שמסביר לבינה מלאכותית, בשפה פשוטה, מי אתם, מה אתם עושים ואילו דפים הכי חשובים באתר. תחשבו עליו ככרטיס ביקור למנועי AI.
הוא יושב בכתובת האתר-שלך/llms.txt, ונראה בערך כך:
# שם העסק > משפט אחד: מה העסק עושה, למי ואיפה. ## דפים חשובים - [שירות א](https://...): מה מקבלים שם - [מדריך](https://...): על מה הוא ## יצירת קשר - [שיחת היכרות](https://...)נכון לאוקטובר 2026: זה תקן מוצע ולא חובה, ולא כל מנוע משתמש בו. אבל הוא לוקח 10 דקות, לא מזיק, ונותן ל-AI תקציר נקי במקום לנחש.
נתונים מובנים (Schema) הם קוד קטן ונסתר שאומר למנועים במפורש: "זה מאמר, זה הכותב, זה התאריך", או "זה עסק, זו הכתובת, אלה השעות".
ברוב בוני האתרים (וורדפרס עם תוסף SEO, Wix, ClickFunnels) אפשר להוסיף אותו בלי לכתוב קוד מאפס. הסוגים שהכי שווה להתחיל מהם:
האתר-שלך/robots.txt ומוודאים שאין חסימות.האתר-שלך/llms.txt ומוודאים שהקובץ עולה.| מה | איפה | זמן | חובה? |
|---|---|---|---|
| בדיקת חסימה | ChatGPT או טרמינל | 2 דקות | כן |
| פתיחה ב-Cloudflare | Security ← Settings | דקה | כן, אם יש חסימה |
| ניקוי robots.txt | הקובץ באתר | 5 דקות | כן |
| llms.txt | קובץ חדש באתר | 10 דקות | מומלץ |
| נתונים מובנים | בונה האתר | 15 עד 30 דקות | מומלץ מאוד |
Disallow, בוט מנומס פשוט לא ייכנס.תריצו את הבדיקה משלב 1 על האתר שלכם.
אם יוצא 200, אתם פתוחים. אם יוצא 403, יש לכם תיקון של דקה.
ואם אתם רוצים עוד כלים כאלה, כל המדריכים החינמיים שלי נמצאים כאן.
במדריך החינמי אני מראה איך בניתי צוות של סוכני AI שעובד איתי.
למדריך צוות סוכני AI ←