Scrapy वेब स्क्रैपिंग: Python ट्यूटोरियल

Scrapy क्या है और इसकी आवश्यकता क्यों है?

Scrapy Python में एक शक्तिशाली एसिंक्रोनस वेब स्क्रैपिंग फ्रेमवर्क है, जो वेबसाइटों से उच्च प्रदर्शन और स्केलेबल डेटा संग्रह प्रदान करता है। यह टूल वेब पेजों से संरचित जानकारी निकालने की प्रक्रिया को स्वचालित करता है, जिससे यह डेटा विश्लेषण, मूल्य निगरानी, समाचार पार्सिंग और कई अन्य कार्यों के लिए अपरिहार्य बन जाता है।

Scrapy की मुख्य विशेषताएं और लाभ

एसिंक्रोनस आर्किटेक्चर

Scrapy Twisted लाइब्रेरी पर आधारित है, जो एसिंक्रोनस रिक्वेस्ट प्रोसेसिंग और बड़ी संख्या में वेब पेजों के साथ काम करते समय उच्च प्रदर्शन सुनिश्चित करता है। यह प्रोग्राम के निष्पादन को ब्लॉक किए बिना एक साथ कई अनुरोधों को संसाधित करने की अनुमति देता है।

डेटा निष्कर्षण में लचीलापन

फ्रेमवर्क डेटा निकालने के विभिन्न तरीकों का समर्थन करता है:

• सरल एलिमेंट चयन के लिए CSS सेलेक्टर
• जटिल क्वेरी के लिए XPath सेलेक्टर
• सटीक डेटा निष्कर्षण के लिए रेगुलर एक्सप्रेशन
• JSON और XML फॉर्मेट का समर्थन

स्केलेबिलिटी और प्रदर्शन

Scrapy को छोटे स्क्रिप्ट से लेकर बड़े औद्योगिक समाधानों तक किसी भी आकार के प्रोजेक्ट के लिए डिज़ाइन किया गया है। बिल्ट-इन कैशिंग, समानांतर प्रोसेसिंग और मेमोरी मैनेजमेंट मैकेनिज्म लाखों पेजों को प्रोसेस करते समय भी स्थिर संचालन सुनिश्चित करते हैं।

Middleware के माध्यम से विस्तारशीलता

Middleware सिस्टम आपको फ्रेमवर्क की कार्यक्षमता को आसानी से बढ़ाने की अनुमति देता है, जिसमें रिक्वेस्ट और रिस्पॉन्स प्रोसेसिंग, हेडर मैनेजमेंट, प्रॉक्सी सर्वर के साथ काम करना और बहुत कुछ शामिल है।

Scrapy की स्थापना और कॉन्फ़िगरेशन

फ्रेमवर्क स्थापित करना

pip install scrapy

अतिरिक्त डेटा फॉर्मेट के साथ काम करने के लिए अतिरिक्त पैकेज स्थापित करने की सिफारिश की जाती है:

pip install scrapy[all]

नया प्रोजेक्ट बनाना

scrapy startproject myproject
cd myproject

स्पाइडर बनाना

scrapy genspider example example.com

Scrapy प्रोजेक्ट की संरचना

प्रोजेक्ट बनाने के बाद निम्नलिखित डायरेक्टरी संरचना बनती है:

myproject/
├── myproject/
│   ├── __init__.py
│   ├── items.py          # डेटा संरचना की परिभाषा
│   ├── middlewares.py    # रिक्वेस्ट/रिस्पॉन्स प्रोसेसिंग के लिए Middleware
│   ├── pipelines.py      # डेटा प्रोसेसिंग और सेविंग
│   ├── settings.py       # प्रोजेक्ट कॉन्फ़िगरेशन
│   └── spiders/          # स्पाइडर डायरेक्टरी
│       ├── __init__.py
│       └── example.py
└── scrapy.cfg           # प्रोजेक्ट कॉन्फ़िगरेशन फ़ाइल

मुख्य फ़ाइलों का उद्देश्य

• spiders/ - पार्सिंग और डेटा निष्कर्षण का लॉजिक शामिल है
• items.py - निकाले जाने वाले डेटा की संरचना को परिभाषित करता है
• pipelines.py - निकाले गए डेटा को प्रोसेस और सेव करता है
• middlewares.py - रिक्वेस्ट और रिस्पॉन्स प्रोसेसिंग को कॉन्फ़िगर करता है
• settings.py - प्रोजेक्ट की सभी सेटिंग्स शामिल करता है

स्पाइडर बनाना और कॉन्फ़िगर करना

बेसिक स्पाइडर

import scrapy

class ExampleSpider(scrapy.Spider):
    name = "example"
    allowed_domains = ["example.com"]
    start_urls = ["https://example.com"]

    def parse(self, response):
        # डेटा निकालना
        title = response.css('title::text').get()
        
        # डेटा वापस करना
        yield {
            'title': title,
            'url': response.url,
            'status': response.status
        }

नेविगेशन के साथ एडवांस्ड स्पाइडर

import scrapy

class AdvancedSpider(scrapy.Spider):
    name = "advanced"
    start_urls = ["ht