توضیحات
در این قسمت تیم کدگیت سورس خزشگر در پایتون را تهیه نموده است. خزشگر‌ها بسیار ساده هستند و حتی شرکت‌های بزرگی مانند گوگل از آن استفاده می‌کند. این شرکت با کمک خزشگر، سایت‌های مختلف را بررسی کرده و با کمک آن جستجوی بهتری را انجام خواهد داد. این یکی از قابلیت‌های خزشگر است پس با ما همراه باشید تا سورس خزشگر در پایتون را معرفی کنیم. همچنین پیشنهاد می‌کنیم از دیگر محصولات ما نیز دیدن فرمایید:
سورس خزشگر در پایتون
امروزه خزشگر بسیار از فعالیت‌های روزمره که انسان انجام می‌دهد را با سرعتی بسیار بالا و با نتایج دقیقی در اختیار ما قرار می‌دهد. خزشگر مانند رباتی عمل می‌کند و اطلاعات درخواستی ما (مثلا قیمت محصولات) را از سراسر وب دریافت و در اختیار ما قرار می‌دهد. جالب است بدانید این کار با نیروی انسانی زمان زیادی را می‌گیرد و حتی ممکن است به نتیجه دلخواه نیز نرسید اما برعکس خزشگر اینگونه نیست و با سرعت اطلاعات دقیقی در اختیار ما قرار می‌دهد. شاید عجیب باشد اما شرکت‌های بزرگ دنیا مانند گوگل برای جمع‌آوری اطلاعات وبسایت‌ها از خزشگر استفاده می‌کند.
سورسی که در این قسمت تهیه شده است تمامی لینک‌های (لینک‌های خارجی) موجود در وبسایت را بررسی می‌کند و آن‌ها را با کمک الگوریتم DFS خزش می‌کند. دقت کنید این خزشگر شرط پایان ندارد و تمام وبسایت‌هایی که در راه خود می‌بیند را پایش خواهد کرد.
نحوه اجرا سورس خزشگر در پایتون
بعد از تهیه سورس کد از سایت کدگیت، فایلی با فرمت zip در اختیار شما قرار خواهد گرفت. این فایل را از حالت zip خارج کنید تا فایل اصلی برنامه را ببینید. فایل با نام web crawler.py سورس اصلی برنامه بوده و با اجرای آن می‌توانید خزش خود را شروع کنید. در این سورس کد سایت اولیه که مورد خزش قرار می‌گیرد را google.com قرار داده‌ایم. شما می‌توانید سایت مورد نظر خود را که می‌خواهید خزش روی آن انجام شود را جایگزین نمایید. بعد از اجرای سورس خزشگر در پایتون خروجی مشابه زیر خواهید دید:
https://google.com
http://schema.org
https://www.google.com
https://maps.google.com
https://play.google.com
https://www.youtube.com
https://news.google.com
https://mail.google.com
https://drive.google.com
http://www.google.com
https://accounts.google.com
خروجی ادامه دارد....