Status epistemiczny: ten szablon jest wynikiem kilku tygodni nauki, a nie lat doświadczenia. Pomyśl o tym jak o notatkach z wykładów twoich przyjaciół, a nie o materiałach dla nauczycieli. Aby pokazać, jak niewystarczająco wykwalifikowany i nadmiernie zorientowany jestem, po prostu sprawdź listę problemów, których nie udało mi się rozwiązać. A jeśli wiesz, jak je rozwiązać, proszę, powiedz mi.

Czy kiedykolwiek byłeś zdezorientowany, jaka jest najlepsza praktyka dla PyTorch ? Na przykład, kiedy wysłać tensor do GPU? lub kiedy zadzwonić zero_grad? A może próbowałeś zrobić coś nowego, na przykład dodać potok podobny do SimCLR i musiałeś przepisać większość kodu, ponieważ był tak źle napisany? A może zastanawiasz się, jak wygląda potok wszystkich innych? Czy są o 100% bardziej wydajne? Jakie są proste wskazówki i triki, których ci brakowało? Może nie ty, ale mam. Z pomocą przychodzi PyTorch Lightning (PL). Jest to w zasadzie szablon określający strukturę kodu.

PL ma w swojej dokumentacji wiele funkcji, takich jak:

• Logowanie
• sprawdzanie gradientu
• profiler
• itp.

• Najprostszy przykład nazwany modelem Boring do debugowania
• Model zarysowania do szybkiego prototypowania
• Podstawowe przykłady, takie jak MNIST
• Zaawansowany przykład, taki jak Generative Adversarial Network (GAN)
• I jeszcze więcej rzeczy w PL Bolts ( github )

Szablon

Link do Google Colab tutaj.

Cechy

Logowanie

• Logowanie do TensorBoard ORAZ stdout w celu uzyskania nadmiarowości (zrobiłem to sam ^^). Nadal nie mogę wszystkiego skopiować. Niektóre informacje są podawane tylko na standardowe wyjście. Jest to problem, ponieważ jeśli używasz klastrów superkomputerowych, pliki wyjściowe mają nieokreślone nazwy, co utrudnia wyszukiwanie szczegółów eksperymentalnych, szczególnie w odległej przyszłości. ( Rozważam również zalogowanie się do WandB ).
• Właściwie użyj hp_metric , abyśmy mogli wybrać najlepsze hiperparametry w TensorBoard (jeszcze nie działa T_T. Jako tymczasowe obejście, zapisuje do pliku .json, który jest ładowany do pandy DataFrame).

• Krzywa strat (zrobiłem to sam ^^).
• Czas trwania całego skryptu (do oszacowania WALLTIME, jeśli używasz klastrów superkomputerowych) (zrobiłem to sam ^^).
• Sprawdź normy gradientu, aby zapobiec zanikaniu lub eksplodowaniu gradientu .

• Loguj parametry jako histogram do TensorBoard (zrobiłem to sam ^^). Rejestrowanie poszczególnych parametrów może nie być realistyczne, a w każdej epoce byłyby miliony parametrów.
• Wydrukuj podsumowanie swojego modułu LightningModule . To jest przykład wydruku, którego nie mogę przekierować do tekstu TensorBoard.
• Informacje o systemie dziennika (sprzęt i oprogramowanie) .

• Profiler ( PyTorch ), aby dowiedzieć się, które warstwy / operacje są wąskim gardłem, które kradną Twój czas i pamięć. Zauważ, że to spowalnia działanie. Dużo! Więc upewnij się, że wyłączyłeś to przed przejściem do dostrajania hiperparametrów.
• Sprawdzanie stanu zdrowia to funkcja, która jest domyślnie włączona. Dobrze wiedzieć, że to istnieje. (Dowiedziałem się o tym na własnej skórze)

• Istnieją 2 sposoby monitorowania GPU. Pierwszy z nich monitoruje tylko pamięć , a drugi może monitorować szereg statystyk . Mój szablon używa tylko pierwszego.
• Są dwa sposoby na bieganie po skróconych epokach. Pierwszym z nich jest ograniczenie liczby partii . Drugi to fast_dev_run, który i tak ogranicza liczbę wsadów w tle, między innymi. Mój szablon bezpośrednio wywołuje argumenty ograniczające.
• Dokonaj przesunięć modelu na podzbiorze danych

Optymalizacja

• Wczesne zatrzymanie, ponieważ nie marnujmy zasobów, gdy model jest już zbieżny.
• Przycinanie gradientu
• Jeśli chodzi o optymalizator, to po prostu używałem Adama z ReduceLROnPlateau i nazywałem to na co dzień (nie optymalizuję nawet pod bety). Ale to powstrzymuje mnie przed spaniem w nocy, ponieważ zawsze sam zgaduję, zastanawiając się, czy brakuje mi ogromnych ulepszeń. I wiem, że jest to BARDZO aktywny obszar badań . Ale alternatywą jest przekleństwo wymiarowości z hiperparametrami optymalizatora. W tym miejscu PL przychodzi mi na ratunek. Teraz mógłbym po prostu uznać PL za standard branżowy, korzystać ze wszystkich dostarczonych narzędzi optymalizacyjnych i spać trochę łatwiej. Oto dwa narzędzia: Wyszukiwarka szybkości uczenia się i Stochastyczne uśrednianie wagi .

• Zapisz najlepszy model i przetestuj go .
• Po zakończeniu wyszukiwania hiperparametrów możesz chcieć załadować punkt kontrolny po zamknięciu sesji, aby wykonać takie czynności, jak analiza rezydualna lub analiza aktywacji (spójrz na ładną figurę powyżej) na najlepszym modelu.
• (Śledzenie zmian aktywacji podczas treningu może być również pomocne, ale nie implementuję tego w tym szablonie).

• W moim szablonie Google Colab znajduje się przykład wyszukiwania siatkowego. Tak, wiem, że wyszukiwanie losowe jest lepsze , ale to tylko dla wersji demonstracyjnej.
• Z jakiegoś powodu nie mogę uruchomić hp_metric na TensorBoard, więc zrobiłem obejście .json. Dołączony jest również fragment do agregowania plików .json z różnych przebiegów eksperymentalnych.
• Potrzebuję również biblioteki optymalizatora hiperparametrów, która implementuje dobry algorytm, który odczytuje i zapisuje z pliku offline (ponieważ używam HPC). Jak dotąd najlepszym rozwiązaniem jest Optuna, ponieważ można ją łatwo zrównoleglić w trybie offline .

Oczywiście mój szablon w Google Colab, jeśli go nie sprawdziłeś. Ale możesz chcieć sprawdzić istniejące modele w Bolts i stworzyć własny LightningDataModule dla własnych zestawów danych. Powodzenia!

Bibliografia

Wszystkie obrazy, o ile nie zaznaczono inaczej w podpisie, są moje.