Web scraping (เว็บสแครป) คือการใช้โปรแกรมดึงข้อมูลจากเว็บไซต์โดยอัตโนมัติ แล้วนำข้อมูลมาประมวลผลหรือจัดเก็บ เช่น CSV, database หรือ JSON
ตัวอย่างง่าย ๆ:
- โปรแกรมส่ง HTTP request ไปยังเว็บ
- ได้ HTML กลับมา
- วิเคราะห์ HTML เช่นด้วย BeautifulSoup
- ดึงข้อมูลที่ต้องการ เช่น ราคา ชื่อสินค้า หรือบทความ
- บันทึกข้อมูลลงฐานข้อมูล/ไฟล์
ตัวอย่าง
เว็บไซต์มี HTML:
<div class="product">
<h2>iPhone 17</h2>
<span class="price">39,900</span>
</div>
Web scraper สามารถดึงออกมาเป็น:
Product: iPhone 17
Price: 39,900
Web scraping vs Web crawling
- Web crawling → ค้นหาและสำรวจหน้าเว็บจำนวนมาก เช่น search engine
- Web scraping → ดึงข้อมูลเฉพาะที่ต้องการจากหน้าเว็บ
ดังนั้น scraping เน้น “เก็บข้อมูล” ส่วน crawling เน้น “ค้นหา/สำรวจเว็บ”
Tool for web scraping is firecrawl.
