Czytając ten artykuł, nauczysz się używać powiązań Pythona Google CLD3 do wykrywania i identyfikowania języków używanych w tekście. Dla Twojej informacji, Compact Language Detector v3 (CLD3) to pakiet identyfikacji języka wydany przez Google. W chwili pisania tego tekstu ma ogromne wsparcie dla większości popularnych języków. Pełną listę można znaleźć pod poniższym linkiem .

Zawiera wyszkolony model i kod wnioskowania oparty na C++. Na podstawie oficjalnej dokumentacji

„… kod wnioskowania wyodrębnia ngramy znaków z tekstu wejściowego i oblicza ułamek liczby wyświetleń każdego z nich.

Model uśrednia osadzenia odpowiadające każdemu typowi ngrama według frakcji, a uśrednione osadzenia są łączone w celu wytworzenia warstwy osadzenia. Pozostałe elementy sieci to warstwa ukryta (rektyfikowana liniowa) i warstwa softmax.”

Podstawowa architektura dla CLD3 jest następująca, która wykorzystuje bananajako tekst wejściowy:

Od końca sierpnia 2020 wydali oficjalny pakiet Pythona, który zawiera kod wnioskowania w Pythonie. Sprawdź poniższy kod z oficjalnego repozytorium dla rzeczywistej implementacji opartej na pybindpakiecie.

Przejdźmy do następnej sekcji i zacznijmy instalować niezbędne moduły.

Organizować coś

Aby zainstalować CLD3 z PyPI, musisz zainstalować następujące dodatkowe pakiety na swoim komputerze lokalnym:

• kompilator Protobuf, który jest protocplikiem wykonywalnym
• libprotocnagłówki i biblioteka programistyczna Protobuf
• najlepiej kompilatorg++

Jeśli używasz systemu operacyjnego Debian/Ubuntu, uruchom następujące polecenie:

sudo apt-get install -y --no-install-recommends g++ protobuf-compiler libprotobuf-dev

CLD3

Zdecydowanie zaleca się utworzenie środowiska wirtualnego przed kontynuowaniem instalacji. Aktywuj go i uruchom następujące polecenie w swoim terminalu, aby zainstalować oficjalne wiązania Pythona dla CLD3:

pip install gcld3

Po zainstalowaniu wszystkich wymaganych pakietów możesz go używać bezpośrednio w skrypcie Pythona. Utwórz nowy skrypt Pythona o nazwie test.py.

Import

Dodaj następującą instrukcję importu na górze pliku.

import gcld3

Następnie zainicjuj nowy NNetLanguageIdentifierobiekt.

detector = gcld3.NNetLanguageIdentifier(min_num_bytes=0, max_num_bytes=1000)

• min_num_bytes: minimalna liczba bajtów do rozważenia podczas wnioskowania. Ustawienie tego na wartość wyższą niż 0 zwróci undpusty ciąg.
• max_num_bytes: maksymalna liczba bajtów do rozważenia podczas wnioskowania. Obcina nadmiar bajtów, jeśli tekst wejściowy przekroczy ustawioną wartość.

detector = gcld3.NNetLanguageIdentifier(min_num_bytes=10, max_num_bytes=1000)

CDL3 posiada dwie funkcje wnioskowania. Pierwsza to FindLanguagefunkcja przeznaczona do wnioskowania w jednym języku. Akceptuje pojedynczy textargument, który reprezentuje przykładowy tekst.

sample = "Welcome to Medium."
result = detector.FindLanguage(text=sample)

• language: kod języka reprezentowany w stylu BCP-47.
• is_reliable: wartość logiczna, która odzwierciedla wiarygodność wykrywania.
• proportion: liczba zmiennoprzecinkowa reprezentująca proporcje i wagi przewidywanego języka w przykładowym tekście. Zakres od 0 do 1. To pole jest przydatne podczas wykrywania wielu języków.
• probability: poziom ufności prognozy. Zakres od 0 do 1.

result.language
result.is_reliable
result.proportion
result.probability

Powinieneś używać FindTopNMostFreqLangsdo wykrywania wielu języków. Oprócz textargumentu przyjmuje inny argument całkowity o nazwie num_langs.

sample = ("Welcome to Medium. Bienvenido a Medium.")
results = detector.FindTopNMostFreqLangs(text=sample, num_langs=2)

for i in results:
    print(i.language)

Pełny kod można znaleźć w następującym skrócie .

Wniosek

Podsumujmy, czego się dzisiaj nauczyłeś.

Ten artykuł rozpoczął się od krótkiego wprowadzenia na temat podstawowej architektury i koncepcji programu Compact Language Detector firmy Google v3.

Następnie obejmował proces instalacji w oparciu o system operacyjny, który posiadasz. Pakiet Pythona dla CLD3 jest instalowany przez pip install.

W sekcji implementacja wyjaśniono na podstawie FindLanguagei FindTopNMostFreqLangsfunkcji. Obie funkcje zwracają albo a singlealbo listę Resultobiektów, która zawiera kilka przydatnych parametrów, takich jak languagei probability.

Dzięki za przeczytanie tego artykułu. Mam nadzieję, że wrócisz i przeczytasz moje inne artykuły!

Bibliografia

1. Github — CLD3
2. PyPI — gcld3