Poprawia ostrość
Kategorie: Wszystkie | Filozofia | Humor | Nauka | Polityka | Życie
RSS
niedziela, 03 lutego 2008
Sprawa Jakuba T., czyli pułapki probabilistyki

Poznaniak Jakub T. został w poniedziałek skazany przez sąd w Exeter na dożywocie za zgwałcenie i ciężkie okaleczenie kobiety. Nie zamierzam wdawać się tutaj w spekulacje na temat tego, czy ów spokojny młody człowiek mógł dopuścić się tej zbrodni, a następnie dobrowolnie ułatwić angielskiej policji ujęcie samego siebie. Być może Jakub T. pewnego wieczoru postanowił spróbować swoich sił w roli Raskolnikowa, a następnie, jak tenże Raskolnikow, uznał, że należy mu się za to sprawiedliwa kara.1 Być może zaś Jakub T. znalazł się po prostu w niewłaściwym miejscu o niewłaściwym czasie, a brytyjski wymiar sprawiedliwości właśnie zniszczył życie niewinnemu człowiekowi.

Jedno w tej sprawie jest pewne: prawdopodobieństwo tego, że testy DNA, które były koronnym dowodem oskarżenia, błędnie wskazały na Jakuba T. jako na źródło materiału genetycznego znalezionego na miejscu przestępstwa, jest znacznie wyższe niż wielokrotnie cytowane w mediach „jeden do miliarda”.

Skąd wzięła się ta liczba?

Jeden do miliarda jest ostrożnie oszacowanym prawdopodobieństwem, że dwie niespokrewnione osoby będą miały taki sam wynik najdoskonalszego obecnie testu STR2 opartego na 13 różnych miejscach łańcucha DNA (tyle stosuje FBI). Liczba ta jest czymś w rodzaju średniej, gdyż w rzeczywistości prawdopodobieństwo to zależy od bliskości etnicznej badanych osób.

Jest to jednak czysto teoretyczne prawdopodobieństwo. W realnym świecie testy DNA są przeprowadzane przez ludzi, którzy popełniają błędy, w laboratoriach, które mają wdrożone lepsze lub gorsze procedury zabezpieczające przed tymi błędami. Istnieje możliwość zamiany próbek dwóch podejrzanych, zanieczyszczenia próbki podejrzanego próbką wzorcową (lub odwrotnie), zanieczyszczenia obu próbek materiałem osoby trzeciej, błędnego zinterpretowania wykresów, defektów oprogramowania, celowej manipulacji itp.3 Powtórzenie testu, nawet w innym laboratorium i na innym sprzęcie, nie zabezpieczy przed błędami na etapie pobierania i zabezpieczania próbek.

Biegły, który na sali sądowej zeznaje, że szansa, aby losowo wybrana osoba (inna niż oskarżony) miała profil DNA taki sam jak znaleziony na miejscu przestępstwa, wynosi 1 do miliarda, dostarcza sądowi kompletnie bezużytecznej informacji. Koncentruje on uwagę sądu na bardzo niskim, wręcz nierealnym prawdopodobieństwie jednego rodzaju błędu (możliwości, że dwie różne osoby mają ten sam profil DNA), a jednocześnie pomija o wiele większe prawdopodobieństwo błędów człowieka, sprzętu i procedur. Sądu nie może przecież obchodzić jakaś abstrakcyjna wiarygodność metody obliczona przy założeniu, że jest ona stosowana w perfekcyjny sposób przez bezbłędnych naukowców na niezawodnym sprzęcie. Sąd powinno natomiast interesować, na ile może zaufać ekspertyzie wykonanej przez konkretnych ludzi stosujących daną metodę badawczą.

Innymi słowy, dowodem dla sądu nie jest zgodność dwóch próbek DNA, lecz opinia laboratorium o tej zgodności, podobnie jak dowodem nie jest zgodność wyglądu twarzy sprawcy i podejrzanego, lecz jedynie opinia świadka o tej zgodności.

Jaka jest rzeczywista wiarygodność ekspertyz genetycznych?

Na ile zatem można ufać testom DNA? Odpowiedź jest trudna do uzyskania, gdyż okazuje się, że nie przeprowadzono żadnych systematycznych badań w tym zakresie. Profesor Jonathan Koehler z University of Texas jest czołowym badaczem wiarygodności metod kryminalistycznych. Na podstawie dwóch niewielkich kontroli obejmujących kalifornijskie laboratoria genetyczne oraz testów kompetencji mających na celu doskonalenie technik laboratoryjnych oszacował on orientacyjną stopę błędów badań DNA (prawdopodobieństwo stwierdzenia zgodności dwóch próbek, które są w istocie różne) wynoszącą 1:800.4 Biorąc pod uwagę, że dowody genetyczne zazwyczaj wysuwane są w sprawach o ciężkie przestępstwa, w których stawką jest wieloletnie więzienie, stosowna wydaje się tu analogia do linii lotniczej, w której 1 lot na 800 kończy się katastrofą.

Profesor Koehler zwraca oczywiście uwagę na konieczność wykonania rzetelnych, szeroko zakrojonych badań skuteczności testów DNA, zauważając jednocześnie ogromną niechęć laboratoriów genetycznych wobec jakichkolwiek prób szacowania stopy błędów. Według Koehlera wskazywanie konkretnych przypadków błędów kończy się jedynie zapewnieniami, że „błędy te wynikały z uchybień proceduralnych, które zostały wyeliminowane”. Jednak niewielu z nas skorzystałoby z usług linii lotniczej, która do tej pory miała 1 katastrofę co 800 lotów, a dzisiaj usilnie zapewnia nas, że usunęła wszystkie defekty. Przedstawiciele laboratoriów próbują również bronić się niezbyt mądrym argumentem, że informowanie sądu o zbiorczej stopie błędów obliczonej dla całej branży genetyki sądowej byłoby mylące, gdyż stopa błędów w dobrych laboratoriach jest o wiele niższa niż w słabych laboratoriach — mogłoby więc doprowadzić do niesłusznej utraty zaufania sądów do badań DNA. Co tak naprawdę mówi nam stopa błędów?

Zakładając, że prawdopodobieństwo stwierdzenia przez laboratorium zgodności dwóch próbek, które nie są zgodne, wynosi 1:800, co to oznacza? Oznacza to, że jeśli damy laboratorium 800 próbek, o których wiemy, że różnią się od próbki wzorcowej, to statystycznie w jednym przypadku laboratorium pomyli się i stwierdzi, że próbka jest zgodna z próbką wzorcową.

Nie oznacza to jednak, że na 800 próbek, uznanych przez laboratorium za zgodne z próbką wzorcową, jedna próbka jest niezgodna z próbką wzorcową. Jest to zupełnie inna statystyka, choć bardzo łatwo je pomylić.

Rozważmy zdanie:

Jeśli laboratorium dostanie dwie różne próbki, to niezwykle rzadko (w 1 przypadku na 800) zdarza mu się stwierdzić, że są takie same.

Nie oznacza ono, że:

Jeśli laboratorium stwierdzi, że dwie próbki są takie same, to niezwykle rzadko (w 1 przypadku na 800) zdarza się, że są różne.

Pierwsze zdanie oznacza po prostu, że jeśli damy laboratorium dwie próbki, o których wiemy, że są różne, to możemy być prawie pewni (na 799/800, czyli 99,875%), że laboratorium stwierdzi ich niezgodność.

Drugie zdanie oznaczałoby, że jeśli mamy dwie próbki, które laboratorium uznało za takie same, to możemy być prawie pewni (na 99,875%), że próbki te są rzeczywiście takie same. Byłaby to oczywiście nadzwyczaj cenna statystyka, ponieważ pozwalałaby nam ona powiedzieć, że jeśli laboratorium orzekło zgodność, to prawie na pewno ta zgodność występuje (...a zatem oskarżony prawie na pewno jest źródłem znalezionego DNA, a więc prawie na pewno jest winny).

Jednak przejście od zdania pierwszego do drugiego jest nieuprawnione i nosi nazwę „błędu prokuratora” (prosecutor’s fallacy), zwanego tak, ponieważ zazwyczaj sprzyja on oskarżeniu. Jeżeli macie wrażenie, że różnica między podanymi wyżej dwoma stwierdzeniami jest trudna do uchwycenia, macie rację. Badania psychologów pokazują, że prawdopodobieństwa warunkowe są obszarem, w którym ludzka intuicja jest wyjątkowo zawodna.

Brak bezpośredniego związku między zdaniem pierwszym a drugim najłatwiej zrozumieć, zauważając, że jeżeli np. przesłalibyśmy do laboratorium 800 próbek niezgodnych ze wzorcem i 1 próbkę zgodną ze wzorcem, to laboratorium zwróciłoby nam 2 wyniki pozytywne — 1 próbkę należącą do 800 próbek niezgodnych ze wzorcem (prawdopodobieństwo błędu 1:800) oraz 1 próbkę zgodną ze wzorcem (zakładamy, że w przypadku próbki zgodnej nie ma możliwości błędnego orzeczenia). Choć zatem stopa błędów wynosi tylko 1:800, to spośród 2 próbek uznanych za zgodne aż 50% jest niezgodne. Widać więc, że tak interesująca nas statystyka, o której mowa w zdaniu drugim, zależy od proporcji między próbkami zgodnymi a niezgodnymi trafiającymi do laboratorium (innymi słowy, od wyjściowego prawdopodobieństwa, że próbka trafiająca do laboratorium jest zgodna ze wzorcem).

Aby obliczyć prawdopodobieństwo, że dwie próbki, które laboratorium uznało za takie same, są rzeczywiście takie same, musielibyśmy skorzystać ze wzoru Bayesa, który wymaga znajomości wspomnianego wyjściowego (nie uwzględniającego badania genetycznego) prawdopodobieństwa, że DNA podejrzanej osoby jest identyczne z DNA znalezionym na miejscu przestępstwa. Prawdopodobieństwo to nosi nazwę prawdopodobieństwa bazowego.

Prawdopodobieństwo bazowe może na przykład zależeć od tego, ile osób, oprócz podejrzanego, miało sposobność popełnienia przestępstwa.5 Inaczej spojrzymy na pozytywny wynik badania DNA, jeżeli podejrzany jest jedną z 3 osób, które znajdowały się w miejscu popełnienia przestępstwa, a inaczej, jeżeli jest on jedną z 8000 takich osób. W tym drugim przypadku musimy liczyć się ze znacznie większym prawdopodobieństwem, że podejrzany padł ofiarą pomyłki laboratorium. Statystycznie przytrafi się ona bowiem 10 osobom na 8000 całkowicie niewinnych osób poddanych testowi DNA. Zatem nasz podejrzany będzie raczej jedną z 10 ofiar pomyłki niż jednym jedynym sprawcą przestępstwa.

Widzimy zatem, że w żadnym razie do oceny prawdopodobieństwa winy nie wystarczy informacja o tym, że podejrzany uzyskał pozytywny wynik badania DNA.

Prawdopodobieństwa na sali sądowej

Co oznaczają powyższe rozważania dla postępowań sądowych? Po pierwsze, biegli powinni informować sąd o rzeczywistej stopie błędów, uwzględniającej błędy laboratorium, zamiast szafować imponującymi, lecz czysto teoretycznymi prawdopodobieństwami w rodzaju 1:1,000,000,000.

Po drugie, należy się zastanowić, czy sąd powinien w ogóle otrzymywać informację o stopie błędów. Informacja w rodzaju „szansa stwierdzenia zgodności dwóch próbek DNA pochodzących od różnych osób wynosi 1 do 1000” nie przekłada się łatwo na prawdopodobieństwo, że próbki są faktycznie zgodne (a oskarżony winny), jednak ludzie nagminnie wyciągają z tego typu statystyk rażąco błędne wnioski.

Cytaty z protokołów sądowych przytaczane przez profesora Koehlera6 są porażające. Niejednokrotnie nawet powołani przez sąd biegli genetycy wydają się mylić prawdopodobieństwo tego, że osoba niebędąca źródłem DNA znalezionego na miejscu przestępstwa otrzymałaby wynik pozytywny, z prawdopodobieństwem tego, że osoba, która otrzymała wynik pozytywny, nie jest źródłem DNA znalezionego na miejscu przestępstwa — a przynajmniej nie protestują, kiedy przesłuchujący ich prokurator posuwa się do nieprawdziwych stwierdzeń.

Na tyle, na ile można wnosić z doniesień prasowych, również proces Jakuba T. był pełen typowych przekłamań wynikających z nieznajomości rachunku prawdopodobieństwa. Zaczęło się od prawidłowego zdania:

Istnieje 1 szansa na miliard, że profil DNA losowo wybranej osoby (innej niż Jakub T.) będzie zgodny z profilem DNA znalezionego na miejscu przestępstwa.

W kolejnym kroku ktoś (może prokurator, a może już sam biegły) zintepretował to następująco:

Istnieje 1 szansa na miliard, że profil DNA jakiejkolwiek osoby innej niż Jakub T. jest zgodny z profilem DNA znalezionego na miejscu przestępstwa.

...co oznaczałoby, że na 99,9999999% nie istnieje (na świecie?) żadna osoba, której profil DNA jest zgodny z profilem DNA znalezionego na miejscu zdarzenia. W poprzednim zdaniu szansa 1 do miliarda odnosiła się do jednej losowo wybranej osoby, tutaj zaś odnosi się do wszystkich możliwych osób. Stąd już tylko krok do stwierdzenia, które wg prasy padło w mowie końcowej prokuratora:

Istnieje 1 szansa na miliard, że DNA znalezione na miejscu przestępstwa pochodzi od kogoś innego niż Jakub T.

Jeśli wykluczyć podłożenie dowodów i przypadkowe znalezienie się minimalnej ilości DNA Jakuba T. w ciele ofiary, oznacza to, że:

Istnieje 1 szansa na miliard, że to nie on zgwałcił.

Jeżeli tak rozumowali przysięgli, a rozumowali tak prawie na pewno, nie było możliwości, aby wydali wyrok inny niż skazujący.

Operacje na prawdopodobieństwach warunkowych są tak nieintuicyjne, a różnice między poszczególnymi sformułowaniami tak subtelne, że zdolne do prawidłowego zastosowania informacji o stopie błędów są jedynie osoby wprawione we wnioskowaniu bayesowskim. Trudno się spodziewać, że niewytrenowani w rachunku prawdopodobieństwa sędziowie i przysięgli będą wiedzieć, co zrobić z otrzymanymi danymi na temat wiarygodności badań DNA.

Wymiar sprawiedliwości w coraz większym stopniu polega na dowodach uzyskanych nowoczesnymi, precyzyjnymi metodami kryminalistycznymi. Pojawia się coraz więcej spraw karnych czy spraw o ustalenie ojcostwa, w których wyniki badań genetycznych są absolutnie kluczowymi dowodami. Dotychczasowe doświadczenia w postępowaniach podobnych do sprawy Jakuba T. każą się zastanowić, czy ocenę tych dowodów powinniśmy dalej powierzać osobom, które z racji braku podstaw teoretycznych nie orientują się w ich ograniczeniach. Czy można mówić w sądzie o prawdopodobieństwach warunkowych, a następnie poddawać te informacje pod osąd ludzi, którzy nie wiedzą, czym jest prawdopodobieństwo warunkowe?

Wydaje się, że poprawę tego alarmującego stanu rzeczy może przynieść jedynie zmiana sposobu kształcenia sędziów oraz większe zaangażowanie ekspertów kompetentnych w rachunku prawdopodobieństwa i psychologii decyzji (a nie tylko biegłych specjalizujących się w konkretnych metodach kryminalistycznych), i to na wszystkich etapach postępowania.


1 Fakt, iż Jakub T. konsekwentnie nie przyznawał się do winy, nie obala tej czysto hipotetycznej wersji wydarzeń, gdyż mógł on chcieć ponieść karę, a jednocześnie wstydzić się przyznać do haniebnego czynu przed swoimi bliskimi.
2 Opis zasady działania testu STR można znaleźć m.in. w DNA in the Courtroom (PDF), sekcja 11:6 i dalej, oraz w DNA Testing: An Introduction For Non-Scientists.
3 Tu można znaleźć przykłady rzeczywistych błędów laboratoriów.
4 Patrz The random match probability (RMP) in DNA evidence: Irrelevant and prejudicial? (PDF), strona 13. Jak zaznacza sam Koehler, ze względu na liczne braki w metodzie prowadzenia tych kontroli oraz ich wąski zakres liczbę tę można traktować jedynie jako przybliżenie rzędu wielkości, a nie wiarygodny, naukowy pomiar.
5 Na ocenę prawdopodobieństwa bazowego mogą również wpływać wszelkie inne przesłanki takie jak zeznania świadków, przeszłość podejrzanego, obecność motywu, fizyczna zdolność podejrzanego do posłużenia się przemocą itp.
6 Patrz np. Error and Exaggeration in the Presentation of DNA Evidence (PDF), strony 11-13.
21:22, cthinker , Nauka
Link Komentarze (3) »
O autorze

Tomasz Szynalski

E-mail: "t" + nazwisko + "małpa" + "gmail.com"

Moje zdjęcia na Flickerze