BAG-OF-WORDS VA WORD2VEC: TABIIY TILNI QAYTA ISHLASHDA MASOFALAR VA YONDASHUVLAR

Abstract

Ushbu maqolada tabiiy til qayta ishlash (NLP) sohasida so'zlarni raqamli ifodalashtirish uchun qo'llanilgan Bag-of-Words (BoW) va Word2Vec – ikkita fundamentally turli yondashuvning tahlili va taqqoslash o'tkaziladi. Maqolada distributional semantics nazariyasi asosiy ramkasi sifatida beriladi. Bag-of-Words – matn ma'lumotlarini statistik chastota vektorlariga o'tkazish va TF-IDF vaziflashtirilishi – sodda ammo muhim cheklovlar bilan taqdim qilinadi. Word2Vec – kontekstni neural network'lar orqali o'rganish – Skip-gram va CBOW algoritmlari orqali keltiriladi. Maqolada ikkala modelning arxitekturlari, o'rganish mekanizmlar, semantic bo'lim qo'llanilishi va computational efficiency taqqoslanadi. Sentiment analysis, semantic similarity, document classification, machine translation, named entity recognition kabi NLP vazifalarida ikkala model sinab ko'rilgan. Tadqiqot natijalari: BoW – tezlik va interpretability uchun optimal lekin semantik chuqurlik yetishmasligi; Word2Vec – semantik bog'lanishlarni o'rganishda samarali ammo yuqori resurs talabi ko'rsatadi. Kelajak yo'nalishlari – Transformer, BERT, contextual embeddings – ham muhokama qilinadi.