Wyjaśnialność (explainability) algorytmów sztucznej inteligencji na przykładzie oceny zdolności kredytowej
Czy zastanawiałeś się kiedyś jak dokonywana jest ocena Twojej zdolności kredytowej? Pewnie nie Ty jeden. I nie piszę tutaj o procedurach wewnętrznych banków, które „są znane” pracownikom odpowiadającym za podejmowanie decyzji o tym czy przyznać Ci kredyt, czy też nie. Chodzi o automatyzację. O algorytmy uczenia maszynowego (zaliczane do sztucznej inteligencji sensu largo), które niektóre banki stosują, aby szybciej i bardziej efektywnie zarządzać portfelem kredytów, w tym kredytów konsumenckich. Przepisy prawa bankowego taką możliwość dopuszczają, a regulatorzy nawet zachęcaj do stosowania automatyzacji w tym zakresie (przy zachowaniu pewnych gwarancji i standardów). To rozwiązanie niewątpliwie bardziej przyszłościowe niż „białkowe” procesy, bo przecież można więcej i szybciej. Ale czy na pewno?
Początek dość enigmatyczny i trochę prowokacyjny, ale temat, który dzisiaj podrzucam nie jest ani łatwy, ani jasny, nawet pomimo wielu wytycznych i rekomendacji dotyczących wykorzystania sztucznej inteligencji. Chodzi mianowicie o zagadnienie dyskryminacyjnego działania algorytmów oraz wyjaśnialność czy przejrzystość tych rozwiązań w kontekście odtworzenia procesów decyzyjnych. Ma to istotne znaczenie w kontekście pewnej odpowiedzialności instytucji finansowych i to nie tylko w sensie prawnym czy regulacyjnym, ale także reputacyjnym. Warto więc na chwilę pochylić się nad tym ciekawym zagadnieniem.
Zacznijmy od prawa bankowego i stanowisk regulatorów
Kiedyś już na ten temat pisałem (nawet całkiem sporo), więc tutaj krótkie przypomnienie. Art. 105a prawa bankowego przewiduje, że banki (między innymi) mogą dokonywać oceny zdolności kredytowej (oraz ważyć ryzyko kredytowe) w oparciu o zautomatyzowane przetwarzanie danych osobowych (z wyłączeniem danych wrażliwych, czyli np. biometrii – polemikę z tym podejściem podjąłem tutaj), o ile osoba, której to dotyczy będzie miała zapewnione prawo do:
1. Otrzymania stosownych wyjaśnień co do podstaw podjętej decyzji (to nas najbardziej interesuje);
2. Uzyskania interwencji ludzkiej w celu podjęcia ponownej decyzji oraz
3. Wyrażenia własnego stanowiska.
W komunikacie z lipca 2020 r. UKNF doprecyzował też swoje oczekiwania, choć nie robił tutaj rozróżnienia na manualne i zautomatyzowane procesy (więcej tutaj), wskazując m.in. na brak wskazania przez podmioty konkretnych i szczegółowych danych o wnioskującym oraz jego sytuacji finansowej, które miały wpływ na podjętą przez kredytodawcę decyzję kredytową.
Pewne wskazówki mamy za to w wytycznych EBA w sprawie oceny zdolności kredytowej, o których pisałem tutaj. Powiemy sobie o tym trochę później.
Wyjaśnialność
Wiemy już, że klient (potencjalny) może żądać od nas wyjaśnień co do podstaw podjętej decyzji. Mamy więc swoje procedury, które określają jakie czynniki bierzemy pod uwagę, np. dochód, wykonywany zawód czy stan naszego konta. Pamiętać musimy, że czynniki brane pod uwagę muszą być obiektywne, aby uniknąć zarzutu dyskryminacji, o którym pisałem tutaj. Nie możemy więc brać pod uwagę elementów (cech) wrażliwych, jak kolor skóry czy płeć. Pomijając wspomniany obiektywizm i wymogi w zakresie praw podstawowych, naruszenie tych norm może skutkować istotnymi stratami wizerunkowymi.
No dobrze, ale co bank ma pokazać klientowi? UKNF rekomenduje, aby przekazywać:
„zindywidualizowaną i szczegółową informację, w tym informację na temat środków, które powinien przedsięwziąć wnioskujący, aby usunąć negatywne skutki determinujące decyzję kredytodawcy o nieprzyznaniu kredytu”
i jednocześnie podkreśla, że przekazanie
„przez podmiot udzielający kredytu jedynie kategorii danych – np. kwalifikacji wnioskodawcy, miejsca zatrudnienia lub wykonywanej działalności, źródła dochodu lub przychodu, danych o gospodarstwie domowym i wydatkach, danych o miejscu zamieszkania, danych o wysokości i stabilności dochodu – nie realizuje w odpowiednim stopniu prawa wnioskującego do uzyskania wyjaśnień”.
Powinniśmy więc wskazać, co rzeczywiście stanowiło o odrzuceniu tej decyzji, a więc w jaki sposób podjęliśmy tą decyzję. Ok, zapytamy człowieka. Powie – w naszych procedurach taką wagę przyznajemy takim dochodom, a określone grupy zawodowe ze względu na stabilność zatrudnienia są oceniane jako względnie bezpieczne, inne mniej (podobnie z formą zatrudnienia). Mniej więcej, bo proces jest dużo bardziej skomplikowany.
A co z algorytmem?
Na pewno słyszeliście o uczeniu maszynowym, uczeniu głębokim czy problemie czarnej skrzynki, a jeżeli nie to zachęcam do wizyty na moim blogu. Ogólnie rzecz biorąc, algorytmy (te bardziej zaawansowane) uczą się pewnych zależności, wyciągają wnioski bazując na dostarczanym im danych i podejmują określone decyzje, które często i tak są „klepane” przez człowieka (ale nauczyliśmy się im ufać, bo i wiele badań wskazuje, że są one skuteczniejsze w niektórych obszarach).
Te bardziej zaawansowane algorytmy potrafią być jednak na tyle zaawansowane, że czasem trudno odtworzyć proces towarzyszący analizie, a EBA wskazuje chociażby, że podmioty korzystające z nich powinny:
„Understand the underlying models used, including their capabilities, assumptions and limitations, along with ensuring their traceability, auditability, and robustness and resilience”.
Mamy więc obowiązek zapewnienia, że algorytm jest „wyjaśnialny” czy przejrzysty. Komisja (UE), jak i pozostałe instytucje oraz organy UE przykładają dużą wagę do sztucznej inteligencji godnej zaufania (trustworthy), co zobowiązuje nas do tworzenia takich rozwiązań, które są „trackowalne”, a więc ich procesy mogą być odtworzone (wstecz). Jest to jedne z elementów audytu, który należy przeprowadzać korzystając z SI (na razie to miękki wymóg, ale kto wie co będzie wkrótce). Dlatego tak dużo mówi się właśnie o explainability.
Wracając więc do naszego przykładu powinniśmy pokazać jakie dane służyły do oceny i do jakiej grupy danych były „równane”, a także dlaczego dany algorytm przyznał indywidualnym cechą określoną wagę. To prostsza część. Co jednak, jeżeli algorytm zadziałał w jakiś sposób dyskryminacyjnie, np. wskazując, że osoba o określonym kolorze skóry jest mniej „credible”? Algorytm się uczy i niekiedy może wykazywać skłonność do stronniczości (bias), co niekonieczne musi być „zasługą” programisty.
Nie zawsze uda się też taki proces odtworzyć. Jak wtedy zadośćuczynić potencjalnemu klientowi? W grę będzie pewnie wchodzić interwencja ludzka. No i pamiętajmy o jednym. Nikt nie oczekuje udostępniania całego algorytmu (w tym UKNF, który odniósł się do tego w stanowisku dot. robo-advisory), chodzi bardziej o przedstawienie ww. informacji oraz sposobu (ogólnego) działania algorytmu.
Nie eliminuje nam to jednak problemu wyjaśnialności. Nasz algorytm musi być przejrzysty i musimy go monitorować czy dokumentować jego działania, w tym na etapie uczenia się, ale także reagować, jeżeli algorytm staje się „zbyt samodzielony” i czujemy, że może nam się wymknąć spod kontroli. Jestem przekonany, że tego typu wyzwań będzie przybywać, a obowiązków regulacyjnych będzie znacznie więcej i w tym obszarze.