Gensim: Python में NLP के लिए मॉडल ट्रेनिंग और एप्लीकेशन |…

Gensim क्या है और इसकी आवश्यकता क्यों है?

Gensim (Generate Similar) एक उच्च-स्तरीय Python लाइब्रेरी है जो टेक्स्ट को वेक्टर में बदलने, टॉपिक मॉडलिंग और शब्दों के वितरित प्रतिनिधित्व (distributed representations) को सीखने के लिए उपयोग की जाती है। इसे बड़े टेक्स्ट डेटा को बिना पूरी तरह मेमोरी में लोड किए कुशलतापूर्वक प्रोसेस करने के लिए डिज़ाइन किया गया है। यह लाइब्रेरी Word2Vec, FastText और LDA (Latent Dirichlet Allocation) मॉडल्स के लिए सबसे अधिक जानी जाती है।

Gensim अन्य लाइब्रेरीज़ से इस मायने में अलग है कि यह असंरचित टेक्स्ट डेटा पर काम करने और उन डॉक्यूमेंट कॉर्पस को प्रोसेस करने में सक्षम है जो RAM में फिट नहीं होते। यह इसे बड़े टेक्स्ट कलेक्शन, जैसे समाचार आर्काइव, वैज्ञानिक लेख या सोशल मीडिया डेटा के विश्लेषण के लिए एक आदर्श टूल बनाता है।

Gensim लाइब्रेरी की मुख्य विशेषताएं

शब्दों का वेक्टर प्रतिनिधित्व

Gensim Word2Vec, FastText और Doc2Vec सहित शब्दों के वेक्टर प्रतिनिधित्व बनाने और उनके साथ काम करने के लिए पूर्ण समर्थन प्रदान करता है। ये मॉडल टेक्स्ट को संख्यात्मक वेक्टर में बदलते हैं, जिससे शब्दों के बीच शब्दार्थ संबंध (semantic relationships) बने रहते हैं।

टॉपिक मॉडलिंग

लाइब्रेरी में टॉपिक मॉडलिंग के लिए कई एल्गोरिदम शामिल हैं:

LDA (Latent Dirichlet Allocation) — डॉक्यूमेंट कलेक्शन में छिपे टॉपिक्स को खोजने के लिए
LSI (Latent Semantic Indexing) — आयाम कम करने और छिपी अवधारणाओं को खोजने के लिए
HDP (Hierarchical Dirichlet Process) — टॉपिक्स की संख्या स्वचालित रूप से निर्धारित करने के लिए

कॉर्पस के साथ काम करना

Gensim स्ट्रीमिंग प्रोसेसिंग के माध्यम से बड़े टेक्स्ट कॉर्पस के साथ कुशलतापूर्वक काम करता है, जिससे आप RAM से अधिक डेटा का विश्लेषण कर सकते हैं।

समानता की गणना

लाइब्रेरी डॉक्यूमेंट, शब्दों और टॉपिक्स के बीच समानता की गणना के लिए विभिन्न मीट्रिक प्रदान करती है, जिसमें कोसाइन समानता (cosine similarity) और अन्य शब्दार्थ मीट्रिक शामिल हैं।

इंस्टॉलेशन और बेसिक सेटअप

लाइब्रेरी इंस्टॉल करना

Gensim को pip के माध्यम से मानक तरीके से इंस्टॉल किया जाता है:

pip install gensim

कुछ मॉडल्स के लिए अतिरिक्त डिपेंडेंसी की आवश्यकता हो सकती है:

pip install gensim[complete]

मुख्य मॉड्यूल इंपोर्ट करना

import gensim
from gensim.models import Word2Vec, FastText, LdaModel, Doc2Vec
from gensim.corpora.dictionary import Dictionary
from gensim.corpora import MmCorpus
from gensim.similarities import Similarity
from gensim.utils import simple_preprocess

टेक्स्ट डेटा तैयार करना

टोकनाइज़ेशन और प्रीप्रोसेसिंग

Gensim को लिस्ट ऑफ लिस्ट के रूप में टोकनाइज़्ड डॉक्यूमेंट की आवश्यकता होती है। परिणामों की गुणवत्ता के लिए सही डेटा प्रीप्रोसेसिंग महत्वपूर्ण है:

import re
from gensim.utils import simple_preprocess

def preprocess_text(text):
    """Gensim के लिए टेक्स्ट प्रीप्रोसेसिंग"""
    # विशेष कैरेक्टर हटाना
    text = re.sub(r'[^a-zA-Z\s]', '', text)
    # टोकनाइज़ेशन और लोअरकेस में बदलना
    tokens = simple_preprocess(text, deacc=True)
    return tokens

documents = [
    "Gensim is a useful library for NLP tasks.",
    "It supports topic modeling and word embeddings.",
    "Models like Word2Vec and FastText are implemented."
]

# डॉक्यूमेंट प्रीप्रोसेसिंग
texts = [preprocess_text(doc) for doc in documents]

डिक्शनरी और कॉर्पस बनाना

# डिक्शनरी बनाना
dictionary = Dictionary(texts)

# एक्सट्रीम वैल्यू फ़िल्टर करना
dictionary.filter_extremes(no_below=2, no_above=0.5, keep_n=100000)

# कॉर्पस बनाना (bag-of-words प्रतिनिधित्व)
corpus = [dictionary.doc2bow(text) for text in texts]