وب اسکرپینگ با ابزار ها و روش های مختلفی امکان پذیر است اما اینجا میخواهیم شما را با یکی از پیشرفته ترین ابزار های آن آشنا کنیم به نام puppeteer . برای اینکه بدانید این ابزار چقدر عالی و ساده کار خود را انجام میدهد کافیست مثال زیر را درک کنید. مانند یک بروزر رفتار میکند. هر ایونت مانند کلیک کردن، صبر کردن تا لود شدن صفحه، صبر کردن تا ظاهر شدن یک المان و …

نگاهی به مقدمات وب اسکرپینگ

در مقاله قبل بدون puppeteer و با کتابخانه های دیگر رفتیم و قیمت روز طلا را برداشتیم و نمایش دادیم. انجا به عملیاتی مانند کلیک کردن و لوگین کردن اشاره نشد و بسیار ساده بود. در اینجا توضیحات کافی داده نشده اما یک نگاهی به کدها شده است.

وب اسکرپ با API های Chrome در پوپیتر

در اینجا به تشریح برخی کدهای این مینی پروژه میپردازیم:

فولدر اصلی که همه چیز داخل ان است server است.

فایلی که در ان عملیات وب اسکرپینگ انجام شده app.js است.

در پوشه public دو فایل html و js وجود دارد که استاتیک هستند.

در فایل html یک فرم تعریف شده که اطلاعات را از کلاینت میگیرد.

در فایل js یک اجاکس نوشته شده که در html فراخوانی شده است. در این اجاکس یک API به نام likeeid فراخوانی شده است. به این API یک id (همان id که توسط کلاینت وارد فرم شده) ارسال میشود. پس از چند ثانیه پاسخ برگردانده میشود. این پاسخ میتواند شکست یا موفقیت در اسکرپینگ را نشان دهد.

اگر موفقیت امیز باشد یک تصویر و نام برگردانده میشود.

اگر شکست رو به رو شده باشد دلیل ان بیان میشود.

تمام کدهای این پروژه

میتوانید تمام کدهای این پروژه را در لینک گیتهاب زیر مشاهده کنید!