בדיקת סתירות מפת אתר מול Robots.txt

הכלי טוען את מפת האתר של אתר ואת ה-robots.txt שלו בו-זמנית, ואז בודק כל כתובת URL שמפת האתר רושמת מול הכללים שה-robots.txt קובע עבור סורקים כלליים. רישום כתובת במפת אתר הוא הגשה פעילה לסריקה ואינדוקס, בעוד שכלל Disallow תואם ב-robots.txt אומר לסורקים לא לבקש את אותה כתובת בכלל. שני הקבצים בדרך כלל מתעדכנים בנפרד, בלוחות זמנים משלהם או דרך כלים שונים, כך שעמוד שהוסר או הוגבל בדיעבד עלול להישאר חסום בעוד שהוא עדיין יושב במפת האתר, מוגש לסריקה שלעולם לא תקרה. robots.txt חסר מטופל כאילו אין הגבלות בכלל, בהתאם להתנהגות הסטנדרטית והמתועדת שסורקים עצמם עוקבים אחריה.

אם כבר נתקלתם בסתירה המדויקת הזו בלי להריץ את הכלי הזה, סביר שזה כי Google Search Console סימנה אותה עבורכם ישירות: המצב הספציפי הזה מופיע בדוח Pages תחת התווית "Submitted URL blocked by robots.txt", אחת מהאזהרות הנפוצות יותר שבעלי אתרים נתקלים בהן שם. הכלי הזה הוא דרך למצוא ולהבין את אותה סתירה באופן יזום, בלוח הזמנים שלכם, במקום לחכות ש-Search Console תחשוף אותה אחרי שגוגל כבר ניסה וכשל בסריקת העמוד.