פורום קידום אתרים 50 אחרונות מערכת למקדמי אתרים כלי קידום אתרים מילון קידום אתרים צרו קשר
מילון קידום אתרים
0-9 a b c d e f g h i j k l m n o p q r s t u v w x y z

Spider - עכביש/רובוט

העכביש הוא הזרוע האקטיבית של מנועי החיפוש. זוהי למעשה תוכנה הגולשת באינטרנט ועוברת בין הקישורים השונים אותם היא מוצאת על מנת למצוא אתרים חדשים להוסיף למאגר המנוע ולזהות עדכונים באתרים הקיימים בו. לכל עכביש User Agent (ע"ע) ייחודי ובאמצעותו נוכל לזהות את תנועת העכבישים השונים באתר. לדוגמה, העכביש של גוגל נקרא Googlebot (ע"ע). קובץ robots.txt (ע"ע) מאפשר לנו למנוע מהעכבישים לגלוש ולהוסיף למאגרי מנועי החיפוש את האתר או חלקים ממנו.