Dla kogo
Osoby odpowiedzialne za jakość systemów AI o zmiennym zachowaniu.
Ścieżka specjalistyczna · S2 · Ewaluacja i niezawodność AI
Ewaluacja i niezawodność AI
Oceniaj zmienne zachowanie AI przez porównywalne dowody.
L0 i L1 są dostępne od razu na Gumroad. Pełniejsze poziomy i całe serie kupisz w naszym sklepie po zakończeniu przełączenia płatności.
Wspólne podstawy
- zakres i dane wejściowe
- dowody i niepewność
- prywatność i uprawnienia
- przegląd człowieka
- odzyskiwanie
Postęp zapisuje się tylko w tej przeglądarce. Konto ani e-mail nie są potrzebne.
01Skan wzorców awarii LLMDostępne w naszym sklepie i na Gumroad.
Rezultat umiejętności
Rozpoznaj powtarzające się wzorce awarii bez traktowania jednej wiarygodnej odpowiedzi jako dowodu.
Wymagania wstępne
- Jasny brief i dozwolone dane wejściowe
Ćwiczenie
Pracuj na oczyszczonych danych w zadeklarowanej granicy. Zapisz wejścia, wynik i miejsca, w których potrzebny jest przegląd człowieka, korzystając z metody: Rozpoznaj powtarzające się wzorce awarii bez traktowania jednej wiarygodnej odpowiedzi jako dowodu.
Oczekiwany artefakt
- zapis konfiguracji
- obserwacja wzorca
- sprawdzenie uzupełniające
- ograniczenia
Kryteria ukończenia
- Zapisz wymienione artefakty i odwołania do źródeł.
- Oddziel obserwacje, propozycje i brakujące dowody.
- Nie przechodź dalej, gdy brakuje danych, autoryzacji albo właściciela decyzji.
Otwórz stronę workflowu: Skan wzorców awarii LLM · Nasz sklep · Zobacz listing Gumroad
02Pierwsza lista kontrolna testów LLMDostępne w naszym sklepie i na Gumroad.
Rezultat umiejętności
Zamień obiecujące demo LLM w pięć powtarzalnych sprawdzeń z jawnymi ograniczeniami.
Wymagania wstępne
- Poprzedni węzeł ścieżki: Skan wzorców awarii LLM
Ćwiczenie
Pracuj na oczyszczonych danych w zadeklarowanej granicy. Zapisz wejścia, wynik i miejsca, w których potrzebny jest przegląd człowieka, korzystając z metody: Zamień obiecujące demo LLM w pięć powtarzalnych sprawdzeń z jawnymi ograniczeniami.
Oczekiwany artefakt
- zapis pięciu sprawdzeń
- podsumowanie zmienności
- lista ryzyk
- propozycja kolejnego sprawdzenia
Kryteria ukończenia
- Zapisz wymienione artefakty i odwołania do źródeł.
- Oddziel obserwacje, propozycje i brakujące dowody.
- Nie przechodź dalej, gdy brakuje danych, autoryzacji albo właściciela decyzji.
Otwórz stronę workflowu: Pierwsza lista kontrolna testów LLM · Nasz sklep · Zobacz listing Gumroad
03Projekt ewaluacji niedeterministycznejDostępne w naszym sklepie.
Rezultat umiejętności
Zdefiniuj akceptowalną zmienność i porównywalne dowody dla zmiennego systemu AI.
Wymagania wstępne
- Poprzedni węzeł ścieżki: Pierwsza lista kontrolna testów LLM
Ćwiczenie
Pracuj na oczyszczonych danych w zadeklarowanej granicy. Zapisz wejścia, wynik i miejsca, w których potrzebny jest przegląd człowieka, korzystając z metody: Zdefiniuj akceptowalną zmienność i porównywalne dowody dla zmiennego systemu AI.
Oczekiwany artefakt
- kontrakt ewaluacji
- plan porównania
- podsumowanie dowodów
- rejestr niepewności
Kryteria ukończenia
- Zapisz wymienione artefakty i odwołania do źródeł.
- Oddziel obserwacje, propozycje i brakujące dowody.
- Nie przechodź dalej, gdy brakuje danych, autoryzacji albo właściciela decyzji.
Otwórz stronę workflowu: Projekt ewaluacji niedeterministycznej · Nasz sklep
04System ewaluacji AI w produkcjiDostępne w naszym sklepie.
Rezultat umiejętności
Zamień projekt ewaluacji w dowody, na które mogą reagować CI, monitoring i właściciele.
Wymagania wstępne
- Poprzedni węzeł ścieżki: Projekt ewaluacji niedeterministycznej
Ćwiczenie
Pracuj na oczyszczonych danych w zadeklarowanej granicy. Zapisz wejścia, wynik i miejsca, w których potrzebny jest przegląd człowieka, korzystając z metody: Zamień projekt ewaluacji w dowody, na które mogą reagować CI, monitoring i właściciele.
Oczekiwany artefakt
- blueprint systemu ewaluacji
- mapa progów
- propozycja CI
- pętla monitoringu
Kryteria ukończenia
- Zapisz wymienione artefakty i odwołania do źródeł.
- Oddziel obserwacje, propozycje i brakujące dowody.
- Nie przechodź dalej, gdy brakuje danych, autoryzacji albo właściciela decyzji.
Otwórz stronę workflowu: System ewaluacji AI w produkcji · Nasz sklep
05Blueprint platformy ewaluacjiDostępne w naszym sklepie.
Rezultat umiejętności
Stwórz wspólne zasady ewaluacji bez udawania, że każdy przypadek ma to samo ryzyko i próg.
Wymagania wstępne
- Poprzedni węzeł ścieżki: System ewaluacji AI w produkcji
Ćwiczenie
Pracuj na oczyszczonych danych w zadeklarowanej granicy. Zapisz wejścia, wynik i miejsca, w których potrzebny jest przegląd człowieka, korzystając z metody: Stwórz wspólne zasady ewaluacji bez udawania, że każdy przypadek ma to samo ryzyko i próg.
Oczekiwany artefakt
- blueprint platformy
- rejestr ewaluatorów
- mapa zarządzania
- plan adopcji
Kryteria ukończenia
- Zapisz wymienione artefakty i odwołania do źródeł.
- Oddziel obserwacje, propozycje i brakujące dowody.
- Nie przechodź dalej, gdy brakuje danych, autoryzacji albo właściciela decyzji.
Otwórz stronę workflowu: Blueprint platformy ewaluacji · Nasz sklep
Gdzie kupić poziomy
Wszystkie poziomy kupisz w naszym sklepie; L0 i L1 są też na Gumroad.