سورس خزشگر در پایتون

در این قسمت تیم کدگیت سورس خزشگر در پایتون را تهیه نموده است. خزشگر‌ها بسیار ساده هستند و حتی شرکت‌های بزرگی مانند گوگل از آن استفاده می‌کند. این شرکت با کمک خزشگر، سایت‌های مختلف را بررسی کرده و با کمک آن جستجوی بهتری را انجام خواهد داد. این یکی از قابلیت‌های خزشگر است پس با ما همراه باشید تا سورس خزشگر در پایتون را معرفی کنیم. همچنین پیشنهاد می‌کنیم از دیگر محصولات ما نیز دیدن فرمایید:

• بازی دوز در پایتون
• تشخیص چشم در پایتون
• تشخیص ماسک در پایتون
• تشخیص سن در پایتون
• Paint در پایتون
• دفترچه تلفن در پایتون
• بازی pacman در پایتون

سورس خزشگر در پایتون

امروزه خزشگر بسیار از فعالیت‌های روزمره که انسان انجام می‌دهد را با سرعتی بسیار بالا و با نتایج دقیقی در اختیار ما قرار می‌دهد. خزشگر مانند رباتی عمل می‌کند و اطلاعات درخواستی ما (مثلا قیمت محصولات) را از سراسر وب دریافت و در اختیار ما قرار می‌دهد. جالب است بدانید این کار با نیروی انسانی زمان زیادی را می‌گیرد و حتی ممکن است به نتیجه دلخواه نیز نرسید اما برعکس خزشگر اینگونه نیست و با سرعت اطلاعات دقیقی در اختیار ما قرار می‌دهد. شاید عجیب باشد اما شرکت‌های بزرگ دنیا مانند گوگل برای جمع‌آوری اطلاعات وبسایت‌ها از خزشگر استفاده می‌کند.

سورسی که در این قسمت تهیه شده است تمامی لینک‌های (لینک‌های خارجی) موجود در وبسایت را بررسی می‌کند و آن‌ها را با کمک الگوریتم DFS خزش می‌کند. دقت کنید این خزشگر شرط پایان ندارد و تمام وبسایت‌هایی که در راه خود می‌بیند را پایش خواهد کرد.

نحوه اجرا سورس خزشگر در پایتون

بعد از تهیه سورس کد از سایت کدگیت، فایلی با فرمت zip در اختیار شما قرار خواهد گرفت. این فایل را از حالت zip خارج کنید تا فایل‌‎ اصلی برنامه را ببینید. فایل با نام web crawler.py سورس اصلی برنامه بوده و با اجرای آن می‌توانید خزش خود را شروع کنید. در این سورس کد سایت اولیه که مورد خزش قرار می‌گیرد را google.com قرار داده‌ایم. شما می‌توانید سایت مورد نظر خود را که می‌خواهید خزش روی آن انجام شود را جایگزین نمایید. بعد از اجرای سورس خزشگر در پایتون خروجی مشابه زیر خواهید دید:

https://google.com

http://schema.org

https://www.google.com

https://maps.google.com

https://play.google.com

https://www.youtube.com

https://news.google.com

https://mail.google.com

https://drive.google.com

http://www.google.com

https://accounts.google.com

خروجی ادامه دارد....