Być może zastanawiasz się, jakie są te stopwords?
Zasadniczo jest to koncepcja w ramach NLP i oznacza najczęściej używane słowa w zdaniu. Na przykład przedimki takie jak A, An, The i czasowniki pomocnicze is, are, was itp. Istnieje duża liczba słów w języku angielskim, w których często używamy ich do konstruowania zdania. Nawet jeśli usuniemy te stopwords ze zdania, nadal możemy zrozumieć jego podstawowe znaczenie.
Pokażę ci przykład,
Akapit oryginalny: Słowo stopu to powszechnie używane słowo, które wyszukiwarka została zaprogramowana do ignorowania, zarówno podczas indeksowania wpisów do wyszukiwania, jak i pobierania ich w wyniku zapytania wyszukiwania.
Zaczynajmy,
Najpierw musimy mieć predefiniowane pakiety nltk i stopwords
importuj nltk
nltk.download('odrzucone słowa')
z nltk.corpus importuj stopwords
Następnie weźmiemy listę stopwords za pomocą
stop_words = stopwords.words('polski')
Następnie możemy mieć własną niestandardową metodę sprawdzania słowa w oryginalnym akapicie obecnym na liście słów pomijanych lub nie. Na jej podstawie możemy uzyskać zdania bez słów kluczowych.
W załączeniu fragment kodu.
Pojęcia te służą do uzyskania podstawowego znaczenia konkretnego zdania. W następnym blogu omówimy jeszcze jedną koncepcję NLP.
Czekać na dalsze informacje…
Jeśli masz jakieś sugestie lub pytania, zamieść je w komentarzach.
Napisane przez: Shashata Sawmya i Harveer Singh Wraz z pojawieniem się dużych sieci neuronowych i stale rosnącym postępem technologicznym, który doprowadza obecne metody do granic możliwości, skupiono się na stworzeniu uniwersalnego narzędzia, którego celem jest zrobienie wszystkiego. Jednak większość zadań nie wymagałaby niesamowicie intensywnych głębokich sieci, ale wciąż czegoś bardziej wszechstronnego niż podstawowe modele matematyczne.
Na pewno słyszałeś o wszystkich nowych, potężnych wtyczkach ChatGPT, takich jak przeglądarka, interpreter kodu itp. Ale jest problem, dostęp do wtyczek jest ograniczony do listy oczekujących, przez co wielu nie ma do nich dostępu.
Aby uniknąć niejasności, zostaną użyte następujące terminy; uwierzytelniający; Telefon komórkowy używany do tworzenia Witryny logowania; Witryna internetowa lub aplikacja, z której korzysta użytkownik, aby dokonać żądania logowania do Usługi; Sprzedawca świadczący daną usługę np
Jest wspaniale złoty poranek na falistych wzgórzach zachodu, gdy pierwsze promienie słońca oświetlają oszronioną trawę na równinach. Stado spokojnego bydła rasy Angus, czarnego jak smoła i masywne, rysuje się na tle wschodu słońca, gdy zmierza utartym szlakiem do miejsca, które wszyscy dobrze znają; bar śniadaniowy.
(Ostrzeżenie - to jest satyra, która ma być radośnie wywrotowa - zdecydowanie nie dla dzieci) Widziałeś, jak twoja mama i tata chowają się w kuchni i palą śmierdzące papierosy. Mówią ci.
Kiedy dorastasz, zwykle słyszysz, że świat jest taki, jaki jest, a twoje życie polega na tym, by żyć swoim życiem w świecie, nigdy nie ryzykując życia, po prostu podążaj wyznaczoną ścieżką i umrzyj w końcu i staraj się nie za bardzo walnij w ściany. Ale to bardzo ograniczone życie.