در تپش این هفته، ماجرای فریب و تعرض در پوشش عرفانهای دروغین و رمالی را بررسی کردیم
خزندههای یاهو
شرکت یاهو با ارائه آخرین نسخه خزنده 0.3 Slurp، موتور جستجوی محبوب خود را به روز کرد. این خزندهها با گذر از بین میلیونها صفحه اینترنتی، اطلاعات فهرست جستجوی یاهو را تکمیل و به روز رسانی میکنند.
بنابه گفته مسئولین یاهو، این خزندهها به طور رسمی، جستجوی خود را از 14 آوریل آغاز کردهاند و پیشبینی میشود که جستجوی کل شبکه اینترنتی بین 5 تا 6 هفته به طول انجامد. از این رو قصد داریم در این هفته اطلاعات خوبی در زمینه این خزندهها در اختیار شما قرار دهیم.
در حقیقت Slurp یاهو، روباتهای فهرستسازی موتور جستجوی یاهو است. این خزنده قدرتمند، تمامی مستندات را از شبکه اینترنت جمعآوری میکند تا با تشکیل یک فهرست قابل جستجو از طریق موتور جستجوگر یاهو در اختیار کاربران قرار دهد.
خزنده یاهو از استاندارد خاصی پیروی میکنند که طی آن تنها صفحاتی در فهرست یاهو قرار میگیرند که کاربر و مدیران سایت اجازه فهرستبندی آنها را داده باشد. به این معنی که چنانچه یک صفحه حاوی اطلاعات شخصی کاربران یک سایت باشد، مدیر سایت میتواند مانع دسرتسی خزنده یاهو به آن صفحه شود. روش انجام این کار را در ادامه توضیح خواهیم داد. البته توجه داشته باشید که ممکن است، آدرس URL صفحه مورد نظر در فهرست یاهو قرار گیرد، اما در زمان جستجو محتویات آن نمایش داده نمیشود.
استانداردی که خزنده یاهو از آن پیروی میکند، استانداردRobot Exclusion Standard است که برای کسب اطلاعات بیشتر درباره آن میتوانید به آدرس www.robotstxt.org/robotstxt.html مراجعه کنید.
خزنده یاهو از اولین داده ثبت شده در فایل robots.txt که با فرمان User-agent: Slurp آغاز شده باشد، پیروی میکند. به عنوان مثال با اعمال دستور زیر در این فایل میتوانید مانع جستجوی خزندههای یاهو شوید:
User-agent: Slurp
Disallow: /cgi-bin
البته روشها و دستورات مختلفی برای هدایت خزنده یاهو وجود دارد که میتوانید با مراجعه به آدرس فوق، از آنها مطلع شوید.
سید شهرام نقویالحسینی
تازه ها
گوناگون
پیشنهاد سردبیر
گزارش «جامجم» درباره دستاوردهای زبان فارسی در گفتوگو با برخی از چهرههای ادب معاصر
فارسی، زبان گفتوگوی جهان
معاون وزیر بهداشت:
