Wytyczne BaFin w sprawie sztucznej inteligencji dla sektora finansowego. Dobry przykład, dobre praktyki
Jakiś czas temu pisałem na temat dokumentu niemieckiego organu nadzoru (BaFin) w sprawie wykorzystania algorytmów w sektorze finansowym. Jest to zestaw pewnych zasad, które instytucje, ale również sam organ nadzoru powinny stosować w procesie wykorzystywania algorytmów (głównie uczenia maszynowego) w sektorze finansowym. Moim zdaniem to bardzo dobry punkt wyjścia dla innych – krajowych oraz unijnych – organów nadzoru, które zamierzają odnieść się do kwestii wykorzystania sztucznej inteligencji (jakkolwiek sama definicja jest dość dyskusyjna). Dzisiaj chciałbym bardziej szczegółowo przybliżyć te zasady i mam nadzieję – otworzyć dyskusję nad przyszłym kształtem ram prawno-regulacyjnych dla algorytmizacji w sektorze finansowym. Zapraszam na część pierwszą.
Na początek warto zwrócić uwagę na ważne stwierdzenie – BaFin zamierza patrzeć na wykorzystanie algorytmów jako na złożony proces, a w konsekwencji zamierza przyglądać się mu od początku (zgromadzenie danych, trenowanie) do końca (implementacji biznesowej). Pokrywa się to zasadniczo z wymogami, jakie będzie stawiało przed nami – o ile zostanie przyjęte – rozporządzenie w sprawie sztucznej inteligencji (więcej tutaj).
Dalej BaFin nie zakłada – co do zasady – konieczności wydawania uprzednich zgód na zastosowanie algorytmów decyzyjnych, ale jednocześnie zamierza zgłaszać ewentualne uwagi w toku nadzoru czy na poziomie udzielania licencji. Nie można jednak zapominać – i to też raczej standard – niekiedy organ nadzoru może wpływać na stosowany model, np. stosowany przy wymogach kapitałowych. Prawo bankowe przewiduje już podobne rozwiązania, m.in. w kontekście modeli wewnętrznych.
Kolejną ważną zasadą jest podejście na zasadzie „same business, same risk, same rules”, która oznacza, że niemiecki organ nadzoru oceniając i nadzorując stosowane procesy oparte o algorytmy będzie stosował podejście oparte na ryzyku i neutralne technologicznie, ale także proporcjonalne do „biznesu”, który je wykorzystuje. W praktyce będzie to oznaczało, że większe zaangażowanie będzie widoczne w przypadku, gdy pojawią się dodatkowe ryzyka związane z danym procesem, np. dany system jest kluczowy dla banku lub podlega szczególnym zasadom outsourcingu. Zakładam również, że te algorytmy, które będą miały bezpośredni wpływ na np. konsumentów (ocena zdolności kredytowej) będą systemami „wysokiego ryzyka” lub bardziej konkretnego zainteresowania organów. BaFin tutaj wskazuje na konkretny przykład takiego algorytmu – skalowalność rozwiązania i powiązane z tym ryzyko ewentualnych błędów (tutaj dopowiadam, np. stronniczość algorytmiczna czy dyskryminacja).
Idźmy dalej. Niemiecki nadzorca zakłada, że zasady zawarte w dokumencie mają jedynie uzupełniać istniejące akty prawne i regulacje (w szczególności mają je doprecyzowywać), a już na pewno nie zastępować (te nadal mają pierwszeństwo). Jednocześnie mają być minimalnym standardem i oczekiwaniem nadzorcy w odniesieniu do AI (tutaj mamy wyraźne wskazanie, że mogą one stanowić wyraźną wskazówkę dla nadzorowanych podmiotów co do kierunku nadzoru). Ciekawe i godne pochwały jest przy tym to, że BaFin ma świadomość jak dynamicznie zmienia się otoczenie i dlatego zasady te mają charakter otwarty, tj. mogą się zmieniać w czasie, np. wraz z rozwojem algorytmizacji w sektorze finansowym czy postępem technologicznym.
Zasady o charakterze podstawowym
BaFin opracował konkretne zasady na każdy etap wykorzystania algorytmów, ale wskazał także na cztery kluczowe zasady, które wyznaczają sposób realizacji pozostałych. Należą do nich:
1. Jasne określenie odpowiedzialności za obszar algorytmów;
2. Odpowiedni system zarządzania ryzykiem oraz outsourcingiem;
3. Przeciwdziałanie stronniczości algorytmicznej oraz
4. Przeciwdziałanie dyskryminacji.
Od razu widać, że to de facto kombinacja wymogów określonych m.in. w projektowanym rozporządzeniu w sprawie cyfrowej odporności operacyjnej (więcej tutaj) oraz części norm o charakterze prawno-etycznym zawartych m.in. w wytycznych Komisji w sprawie AI godnej zaufania (klik).
Wyższa kadra menadżerska (zakładam, że przede wszystkim zarząd) ma być odpowiedzialna za procesy wykorzystujące algorytmy decyzyjne, a to rozciąga się też na konieczność wylistowania poszczególnych procesów (mapowanie) oraz przypisanie im konkretnych ryzyk oraz zakresów odpowiedzialności. I od razu uwaga – kłania się nam rola człowieka – to ta kadra podejmuje decyzje i bierze za nie odpowiedzialność, a nie algorytmy. W praktyce więc osoby te muszą mieć odpowiedni poziom wiedzy eksperckiej (technologicznej), żeby zrozumieć, jak algorytmy podejmują decyzje (np. na czym opierają swoją „wiedzę”. BaFin wymaga także odpowiednich rozwiązań w zakresie raportowania, w tym incydentów, związanego z algorytmami. Ciekawe czy fakt podjęcia decyzji na podstawie rekomendacji algorytmu powinno być odnotowane w protokole…
No i ostatnia rzecz, stosujesz algorytmy decyzyjne? Uwzględnij to w swojej strategii IT i zapewnij odpowiednie zasoby do zarządzania tym obszarem (UKNF będzie do tego podchodził zapewnie podobnie – patrz najnowszy BION).
Dalej mamy zarządzanie ryzykiem i outsourcing, a więc znowu wyższa kadra menadżerska, która ponosi za to odpowiedzialność. Należy wdrożyć odpowiedni system zarządzania ryzykiem oraz ryzykiem outsourcingu (tutaj przydatne będą z pewnością wytyczne EBA oraz ESMA). Podobnie jak wcześniej – odpowiedzialność, raportowanie i monitorowanie muszą być jasno określone. To na co szczególną uwagę zwraca BaFin to efektywne zarządzanie ryzykami, w tym identyfikowanie źródeł oraz potencjalnych skutów niewłaściwego działania algorytmów. Mamy też kwestie związane z cyberbezpieczeństwem, np. w kontekście data poisoning.
Trzecim elementem jest przeciwdziałanie stronniczości algorytmicznej (więc o „bias” w tym artykule), czyli zapewnienie, że decyzje są obiektywne (w uproszczeniu). To oczywiście wymaga zastosowania odpowiednich danych (także w kontekście ich dostępności). W ramach systemu zarządzania ryzykiem musimy też uwzględnić ten specyficzny rodzaj ryzyka.
I na koniec dyskryminacja. Tej zakazanej przez prawo w ogóle nie możemy dopuścić – to jasne. To powoduje, że na etapie tworzenia algorytmów istotną wagę musimy przypisać doborowi kryteriów oraz danych, które będziemy wykorzystywać. Jasne i oczywiste, ale rzadko podkreślane. Tutaj BaFin wyraźnie podkreśla wagę tego zagrożenia.
I to tyle na dzisiaj. W kolejnej odsłonie zajmiemy się poszczególnymi fazami.