Algorytm też może dyskryminować. Komisja (UE) prezentuje najnowszy raport w sprawie dyskryminacji algorytmicznej. I ma propozycje.
Temat dyskryminacji czy stronniczości algorytmów to temat, który pojawia się coraz częściej w debatach publicznych, jak i dokumentach unijnych i międzynarodowych organizacji (a także na łamach mojego bloga). Wczoraj Komisja (UE) opublikowała bardzo rozbudowaną ekspertyzę pt. „Algorithmic discrimination in Europe: Challenges and opportunities for gender equality and non-discrimination law”, która zawiera prawie 200 stron i dotyka takich obszarów jak rozwiązania prawne zapewniające poszanowanie podstawowych praw związanych z zakazem dyskryminacji (nie tylko płciowej) w kontekście wykorzystania algorytmów. Nie jest moją intencją omówić wszystkie elementy raportu, więc dzisiejszy artykuł sugeruję potraktować jako przyczynek do dyskusji.
Dla mnie jednym z najważniejszych elementów raportu jest propozycja dotycząca mechanizmu ochrony przed dyskryminacją i skrzywieniem algorytmicznym. Autorzy wskazują tutaj na:
1. Przeciwdziałanie – odpowiednio dobrane zespoły IT, ocena ‘equality’ czy ‘equality by design’ oraz ‘legality by design’; innymi słowy mechanizmy pokrewne temu co proponuje ENISA w kontekście Internetu Rzeczy – privacy and data protection by default;
2. Mechanizmy kompensacji czy wyrównywania – jasne określenie obowiązków i odpowiedzialności, w tym w kontekście ochrony danych osobowych czy prawa antydyskryminacyjnego;
3. Otwartość – większa przejrzystość – w tym w kontekście otwartości kodu;
4. Trening/uczenie – edukacja nie tyle w kontekście samych algorytmów, ale osób, które odpowiadają za algorytmy, ale także regulatorów czy sędziów;
5. Wyjaśnialność – explainability i accountability połączone z obowiązkami informacyjnymi;
6. Kontrola – aktywny udział człowieka, w tym w kontekście monitoringu działania algorytmu;
7. Testowanie – nieustanne monitorowanie algorytmów wysokiego ryzyka czy wprowadzenia mechanizmów certyfikacji (o tym pisałem w kontekście niedawnych rezolucji Parlamentu Europejskiego dot. AI).
I to brzmi jak plan. Plan trudny do zrealizowania, ale niewątpliwie potrzebny. Nie ma co siebie oszukiwać, że temat stronniczości i dyskryminacji dotyczy tylko człowieka. A właściwie dotyczy tylko człowieka, bo to człowiek tworzy dane czy same rozwiązania, które potem są wykorzystywane przez algorytm. Nawet jeżeli algorytm jest dość zaawansowany i samodzielnie wyciąga wnioski. Wnioski na czymś jednak bazują.
Problemy, które w kontekście postępującej automatyzacji mogą się pojawiać są nam znane, choć jeszcze nie mówi się o nich tak głośno, bo i sama algorytmizacja postępuje jednak stosunkowo wolno.
Sami autorzy raportu wskazują na wyzwania, które są z tym związane. Wskazują więc na:
1. Uprzedzenia, które wynikają wprost z danych wejściowych algorytmu;
2. Stygmatyzacja stosowana przez algorytmy – to może być wynik ustawienia parametrów systemu, np. antyfraudowego;
3. Problemy z wyjaśnialnością (czy przejrzystością) oraz brak dostępu do informacji;
4. Problemy czarnej skrzynki, które tutaj zostały wskazane jako trudności w wykrywaniu dyskryminacyjnych działań algorytmu czy też samego procesu decyzyjnego;
5. Problematyka odpowiedzialności (kto odpowiada za algorytm i na którym etapie – więcej tutaj);
6. Tzw. gender digital gap w Europie – niski poziom reprezentacji kobiet i mniejszości w obszarach nauki, technologii czy inżynierii.
Częściowo są to obszary, które da się – w jakimś stopniu – zaadresować np. standaryzacją w obszarze technologii czy regulacji, ale wiele z nich dotyczy sfery czysto ludzkiej, a więc niekiedy kulturowej, która wymaga edukacji i zmiany podejścia w oderwaniu od zmian technologicznych. Jest to temat jednak wybiegający nieco poza tematykę tego felietonu.
To co wysuwa się więc na plan pierwszy to potrzeba edukacji. Edukacji na wielu poziomach. Przepisy i regulacje są oczywiście potrzebne, ale jednak bez głębszych zmian nawet najdoskonalsze i najbardziej przejrzyste algorytmy nie będą w stanie „uchronić się” przed dyskryminacyjnym działaniem. Abstrahując tutaj w ogóle od etapu projektowania algorytmu i ewentualnych celowych skrzywień zapisanych w konstrukcji.
Autorzy raportu zwracają uwagę, że niezwykle istotne jest tutaj także stworzenie całego ekosystemu zaufania (economy of trust), co wymagać będzie – już wymaga – współpracy i dialogu pomiędzy tworzącymi prawo, policymakers, ale także ludźmi odpowiedzialnymi za dane i ich analizę (m.in. data scientists). Ważna jest przy tym szybkość działania – słusznie – bowiem rozmiar baz danych ciągle się powiększa, a im więcej „złych” danych, tym trudniej będzie zarządzić ryzykami związanymi ze stronniczością algorytmów. Tutaj – abstrahując od tez zawartych w raporcie – warto pochylić się nad określeniem wymogów dla danych wejściowych stosowanych w pewnych obszarach „wrażliwych”.
Podsumowując, problem dyskryminacji w działaniu algorytmów to nie jest wymysł „Europy”, ale realny problem, który obserwujemy już i w Stanach Zjednoczonych i z pewnością trzeba się nim zając. Ja jednak jestem realistą i mam świadomość, że to będzie trudne zadanie nie tyle ze względu na „złą” wolę tworzących algorytmy, ale niesatysfakcjonującą (już obarczoną dyskryminacyjnym czynnikiem) jakością danych. I w związku z tym pojawia się pytanie – czy ich „oczyszczenie” jest w ogóle możliwe uwzględniając ich skalę? A jeżeli nie to jak nie wylać dziecka z kąpielą, tj. nie zahamować rozwoju innowacji i jednocześnie zapewnić neutralność algorytmów? Ja na tą chwilę nie mam odpowiedzi, ale będę nad nią intensywnie myślał.