Legaltech przeżywa prawdziwy boom. Generatywna Sztuczna Inteligencja doskonale nadaje się do wsparcia, a może nawet częściowego zastąpienia prawników. Dlatego na rynku znajduje się wiele narzędzi AI dedykowanych prawnikom, a odpowiednio wykorzystywane narzędzia ogólnego przeznaczenia także są przydatne. Poniżej podpowiadamy, jak podejść do oceny narzędzi w sposób sprawny i pozwalający na porównanie ocen różnych narzędzi.

Testy narzędzi AI

Kiedy mamy już określone nasze potrzeby i upatrzone narzędzie, może nawet przeprowadziliśmy analizę jego warunków umownych i zabezpieczeń, następnie chcielibyśmy się przekonać, czy narzędzie spełni pokładane w nim oczekiwania.

Żadna oferta, filmiki promocyjne czy nawet prezentacja na żywo nie zastąpią nam możliwości przetestowania narzędzia samodzielnie. Dostawcy narzędzi AI oferują różnego rodzaju okresy testowe pozwalające na dokonanie własnej oceny narzędzia. Warto skorzystać z takiej możliwości.

Przed przystąpieniem do testów warto określić:

  • kryteria oceny,
  • scenariusze, które chcemy sprawdzić
  • oraz zespół testowy, który będzie testował i przekazywał opinie.

Kryteria wyboru

Wybierając narzędzie do testów, powinniśmy wstępnie ocenić, czy przyda się ono do realizacji naszych potrzeb. Jednak dopiero praktyka pozwoli nam ocenić, w jakim stopniu jest to możliwe.

Testując narzędzie, powinniśmy wiedzieć, co chcemy sprawdzić. Nasz zespół testowy też powinien o tym wiedzieć. Zadanie pytania “Jak oceniacie narzędzie X” może przynieść mieszane rezultaty, bo niektórzy mogą wcale nie chcieć korzystać z narzędzia, inni nie wiedzą, jak z niego korzystać, a pozostali chętnie skorzystaliby z jakiegokolwiek narzędzia AI, byle tylko usprawnić swoją pracę.

Naszym zdaniem, do oceny narzędzi prawniczych dobrze nadają się następujące kryteria:

1 Jak dokładne jest narzędzie? Czy uzyskiwane informacje/wyniki są prawdziwe/prawidłowe?

2 Jak rzetelne jest narzędzie? Czy kolejne próby testu danego scenariusza dają ten sam lub zbliżony wynik?

3 Czy narzędzie jest łatwe w obsłudze?

4 Ile godzin pozwala zaoszczędzić narzędzie?

5 Jak często było używane podczas testów?

6 Czy tester chciałby korzystać z narzędzia po wdrożeniu?

7 Czy narzędzie pozwala użytkownikom na tworzenie lepszych odpowiedzi na pytania prawne?

Ocena według takich kryteriów pozwoli nam na wskazanie, czy narzędzie będzie dla nas jedynie drobnym usprawnieniem, czy pozwoli zupełnie odmienić nasze procesy. Jeżeli narzędzie jest łatwe w obsłudze, użytkownicy będą chętniej po nie sięgać. Jeżeli daje dobre efekty, to zaoszczędzi nam pracy nad poprawkami. Pozwoli też na porównanie różnych narzędzi i wyciągnięcie nieoczywistych wniosków, np. jeżeli użytkownicy nie chcą korzystać z żadnego narzędzia, to może problem nie tkwi w narzędziach, ale nastawieniu użytkowników.

Scenariusze testowe

Jeżeli mamy określone potrzeby, do których chcemy wykorzystać narzędzie, możemy stworzyć scenariusze (zadania) testowe. Scenariusze testowe to opisy rzeczywistych zadań, które użytkownicy mają wykonywać z pomocą narzędzia.

Różni użytkownicy mogą korzystać z różnych funkcji narzędzia AI, dlatego aby podczas testów nie pominąć oceny kluczowych dla nas funkcjonalności, warto podpowiedzieć testerom scenariusze, w jakich narzędzie ma być wykorzystywane.

Przykładami takich scenariuszy mogą być: “analiza standardowej umowy według kryteriów stosowanych przez dział prawny”, “transkrypcja kilkugodzinnego nagrania z rozprawy”, “analiza wielu decyzji Prezesa UOKiK w kwestii X”. Można też doprecyzowywać takie zadania i dodawać, że zadanie powinno być wykonane na 5 transkrypcjach, aby sprawdzić, jak narzędzie radzi sobie z różnymi nagraniami.

W ramach przygotowania scenariuszy testowych warto również zebrać dokumenty, które będą potrzebne do ich realizacji. Np. odnaleźć uwagi do umów, które kiedyś proponowaliśmy albo transkrypcję starego nagrania z rozprawy, aby móc porównać je z wynikami narzędzia AI.

Zespół testowy

O liczbie dostępów testowych decydują przede wszystkim dostawcy. Jednak w ramach określonej przez dostawcę liczby dostępów możemy zdecydować, ile osób z naszego zespołu powinno narzędzie testować. Każda decyzja ma swoje plusy i minusy.

Jeżeli testować mogą wszyscy, którzy mieliby korzystać z narzędzia, można uzyskać różne punkty widzenia oraz ocenić, jak często będzie wykorzystywane narzędzie po wdrożeniu. Testy zajmują jednak czas całego zespołu, chyba że uda się wpleść testy w bieżącą pracę. Ponadto, oceny niechętnych jakimkolwiek narzędziom mogą zaważyć na całościowej ocenie.

Powierzenie testów wybranym osobom, np. największym entuzjastom nowych narzędzi, może pozwolić na pełne wykorzystanie okresu testów i sprawdzenie różnych możliwości narzędzi oraz oszczędzić czas innych osób. Ocena przez wybraną grupę osób może być jednak skrzywiona, np. entuzjaści mogą być bieglejsi w posługiwaniu się narzędziem niż pozostali potencjalni użytkownicy albo chcieć po prostu korzystać z jakiegokolwiek narzędzia, które usprawni ich pracę.

Dobór zespołu testowego to istotna kwestia, która może zaważyć na całościowej ocenie, dlatego należy rozważyć za i przeciw poszczególnych opcji. Wydaje się jednak, że grono odpowiadające przyszłym użytkownikom da bardziej miarodajną ocenę rozwiązania, ponieważ bliżej mu do prawdziwych warunków korzystania z narzędzia.

Zbieranie informacji zwrotnej

Kluczowym elementem testów, który spina klamrą wszystkie powyższe, jest zebranie informacji zwrotnej.

Nasz wybrany zespół testowy, który przeprowadził testy według wyznaczonych scenariuszy i ocenił narzędzie według uprzednio ustalonych kryteriów, powinien przekazać decydentom informacje, które zebrał.

Można poprosić zespół o przesłanie ocen e-mailem, ale lepiej narzucić pewną strukturę odpowiedzi i poprosić o wypełnienie ankiet, zgodnych z naszymi scenariuszami i kryteriami. Pozwoli to w uporządkowany sposób zebrać dane o danym narzędziu i porównać je z innymi.

Przydatne są również statystyki korzystania z narzędzia udostępniane przez dostawcę, np. z jakich funkcji najczęściej korzystali użytkownicy lub jak często użytkownicy z narzędzia korzystali. Takie statystyki dobrze uzupełniają subiektywne oceny użytkowników i pozwalają lepiej ocenić przydatność testowanego narzędzia.

Mając zarówno opinie użytkowników, jak i statystyki dostawców, można dokonać oceny narzędzia wedle istotnych dla nas kryteriów i porównać je z konkurencyjnymi narzędziami.

Podsumowanie

przycisk pobierz newsletter

Kontakt
Michał Pietrzyk – radca prawny, Senior Associate w zespole IP/IT, Digital Transformation and Automation Lead