Visuomenė

Dėl „Boeing“ lėktuvo katastrofos Etiopijoje kaltas ne dirbtinis intelektas, o „Boeing“ 2019 m. balandžio 22 d. Karolis MAKRICKAS

Iš tiesų, net galvoti apie tai šiurpu, kai suvoki, jog per trumpesnį nei pusmečio laikotarpį panašiomis aplinkybėmis sudužo du lėktuvai „Boeing 737 Max 8“, ir tai gali būti ne atsitiktinumas, o į lėktuvus įdiegtų automatinių sistemų saugumo problema.

Dėl jų veikimo klausimų kilo iš karto po katastrofos Etiopijoje. Paaiškėjo, kad sudužęs laineris – naujausios modifikacijos „Boeing 737“ – to paties tipo lėktuvas, kaip ir Indonezijos bendrovės „Lion Air“ orlaivis, pernai spalį sudužęs praėjus 13 minučių po pakilimo iš Džakartos.

Beje, pristatydama „Boeing 737 Max“ žymiausia pasaulio aviacijos bendrovė „The New York Times“ šiuos orlaivius reklamavo taip: „naujausios technologijos visų laikų populiariausiame lėktuve“. Po antrosios katastrofos per penkis mėnesius šių „naujausių technologijų“ prifarširuotų orlaivių skrydžiai buvo uždrausti visame pasaulyje. Oro bendrovės atšaukė šių orlaivių gamybos užsakymus, o „Boeing“ kapitalizacija smuko 27 mlrd. JAV dolerių. Bendrovei taip pat gresia tiek nepatenkintų vežėjų, tiek žuvusiųjų artimųjų teismo ieškiniai.

Remiantis tikimybių teorija, jei kažkas nutinka vieną kartą, pavyzdžiui, įvyksta lėktuvo katastrofa, tai yra atsitiktinumas, tačiau jei įvykis pasikartoja tomis pačiomis aplinkybėmis, tai jau sisteminė problema. Abiejų katastrofų panašumų išties daug. Avarijos įvyko iškart pakilus, o prieš pat katastrofas lakūnai perspėjo skrydžių valdymo bokštą, kad kilo didelių techninių problemų dėl automatinių lėktuvo sistemų. Kas nutiko? Ekspertai, tiriantys lainerio „Boeing 737 Max“ pražūtingą katastrofą Etiopijoje, priėjo prie preliminarios išvados, kad prieš lėktuvui įsirėžiant į žemę buvo įsijungusi smukos valdymo sistema (angl. Maneuvering Characteristics Augmentation System, MCAS). Anot „The Wall Street Journal“, pasirėmusio su tyrimo eiga susipažinusiais šaltiniais, dėl nelaimių Indonezijoje ir Etiopijoje gali būti kalta dirbtiniu intelektu (DI) paremta ir netinkamai funkcionuojanti MCAS.

Po šio pranešimo DI, kaip svarbiausios katastrofų priežasties, eskalavimas tapo pagrindiniu šių tragedijų akcentu. Taip buvo ne tik nukreiptas dėmesys nuo tikrosios problemos, bet ir suduotas smūgis DI įvaizdžiui. O tai gali sulėtinti šios itin svarbios technologijos plėtrą, nes būtent DI panaudojimas transporto priemonėse, ypač bepiločiuose automobiliuose, turėjo sukurti didžiausią ekonominę bei socialinę vertę žmonijai. Deja, šios katastrofos gali sumažinti investicijas į DI ir sulėtinti šios technologijos plėtrą metais.

Kaip savo knygoje „Normal Accidents: Living with High Risk Technologies“ (liet. „Įprasti nelaimingi atsitikimai. Gyvenimas su didelės rizikos technologijomis“) rašo sociologas Charlesas Perrow, naujos, saugumą didinančios technologijos aviacijoje nepadaro lėktuvų saugesnių, net jei ir veikia taip, kaip turi veikti. Bėda ta, kad inovacijos užtikrinant saugumą verčia oro linijų bendroves ir orlaivių gamintojus „toleruoti didesnę riziką ieškant didesnio našumo“. Lėktuvai dėl programinės įrangos, autopiloto ar kitų technologijų gedimo ar sutrikimo krito ne sykį, ir pilotai galėjo mažai ką padaryti ar juo labiau numatyti nelaimes. Tačiau liūdniausia, kad Etiopijos ir Indonezijos katastrofų atveju pilotai žinojo, kas vyksta su orlaiviu, žinojo, kuo baigsis kova su kompiuteriu, tačiau neturėjo žinių ir galimybių paprastai imti ir išjungti neveikiančią MCAS, todėl viskas baigėsi baisiomis tragedijomis.

Oficialaus tyrimo rezultatai dar nėra paskelbti, todėl vis dar gali būti, kad kaltas ne DI, o programinė įranga: gal blogai veikiantys jutikliai, informuojantys orlaivio kompiuterius apie orlaivio padėtį, ar dar kokia problema. Tačiau esmė nesikeičia: tikroji kaltininkė yra bendrovė „Boeing“, mat diegdama sprendimus, kurie didina pelną, šį darbą stengėsi padaryti greičiau ir pigiau.

Kaip pavyko išsiaiškinti „The Wall Street Journal“, „Boeing“ inžinieriai turėjo itin didelį, kaip dabar akivaizdu, gerokai per didelį pasitikėjimą savo gebėjimais ir sukurtomis kompiuterinėmis sistemomis, todėl bendrovė tiesiog nusprendė nepateikti didelės dalies informacijos ir neišmokyti orlaivių įgulos, esą vidutiniam pilotui nereikia į galvą prikišti per daug techninių duomenų. Juk MCAS, „Boeing“ inžinierių požiūriu, tėra papildoma saugos sistema, padidinanti keleivių ir piloto patogumą, veikianti fone ir nesikišanti į skrydžio valdymą. Rezultatas – 1 val. mokymų kursas planšetėje „Apple iPad“, supažindinantis su orlaivio „Boeing 737 Max“ naujomis ypatybėmis ir galimybėmis. Deja, nei pilotai, nei skirtingų šalių civilinės aviacijos administracijos nebuvo informuotos apie lėktuve įdiegtą naują MCAS. Etiopijos skrydžio atveju pilotas net ir to trumpo kurso nebuvo išklausęs, tad tiesiog nežinojo nei to, kaip MCAS veikia, nei kaip sistemą išjungti, nei kad ją turi. Suprato tik tiek, kad lėktuvo autopilotas pasiryžęs rėžtis į žemę, nes mano, jog šiuo veiksmu gelbėja lėktuvą, o jį valdantis žmogus nebegali pakeisti orlaivio likimo net ir dėdamas didžiausias pastangas.

Automatinės sistemos komercinėje aviacijoje yra itin aktyviai naudojamos ir dažniausiai daro dangų gerokai saugesnį. Jos nuolat tobulinamos ir pilotai nespėja jų perprasti. Orlaivių gamintojai pristato vis naujesnes ir sudėtingesnes jų atmainas, kol galop net aviacijos pramonę reguliuojančios valstybės institucijos nebesupranta, kaip, kas ir kada buvo instruktuotas. Anot „The Verge“, šiandien tai yra didžiausia aviacijos pramonės problema, vedanti į situaciją, kai daug vidutinių pilotų kontroliuoja sudėtingus orlaivius, nors yra visiškai nepasiruošę kritinėms situacijoms.

Ne ką mažesnė problema – toksinė politinė aplinka, skatinama lobizmo, kai pelnas iškeliamas aukščiau už saugumą. Kinija į katastrofas sureagavo pirmoji ir jau po 24 val. uždraudė visus „Boeing 737 Max“ skrydžius. Ja pasekė Europa, Kanada ir t. t. Tačiau JAV, kur „Boeing“ vien per 2018 m. išleido 15 mln. JAV dolerių lobizmui dėl palankesnių sąlygų, skrydžius sustabdė paskutinės. Iškalbingas ir faktas, kad iškart po antrosios katastrofos „Boeing“ vadovas Dennisas Muilenburgas bendravo su JAV prezidentu Donaldu Trumpu ir ragino neuždrausti „Boeing 737 Max“ skrydžių, nes tai bendrovei atneš didelių nuostolių. Netrukus D. Trumpas viešai pareiškė, kad „Boeing“ yra didi, labai didi bendrovė, turinti fenomenalų patikimumo rodiklį“.

Ar kaltos technologijos? Taip. Tačiau Etiopijos ir Indonezijos tragedija nėra DI patikimumo krizė. Tai neatsakingumo krizė. „Boeing“ link DI visiškai kontroliuojamų lėktuvų ateities norėjo keliauti trumpesniu keliu ir ignoruoti saugumą, tapti ne JAV civilinės aviacijos administracijos kontroliuojama, bet šiai organizacijai ir kitoms politinėms jėgoms įtaką darančia bendrove. DI, sistemos mokymosi ir kitų plėtojamų technologijų era tik prasideda. Akivaizdu, kad vis tiek judame link DI sistemų automatizuoto rytojaus, kuriame automobilius, traukinius, laivus ir lėktuvus valdys kompiuteriai. Tiek „Boeing“, tiek kitos orlaivių bendrovės jau eksperimentuoja su lėktuvais, galinčiais pakilti ir nusileisti be piloto pagalbos, į tai investuojami milijardai JAV dolerių.  

Nepaisant mirtimi pasibaigusių bepiločių automobilių pasivažinėjimų, tiek „Uber“, tiek „Tesla“, tiek kiti automobilių pramonės dalyviai tęsia eksperimentus su savaeigėmis transporto priemonėmis. Ir mes džiūgaujame, kad šie tyrimai vyksta. Tik svarbu suvokti, kad tiek „Boeing 737 Max“ katastrofų, tiek „Uber“ avarijos, kai JAV buvo suvažinėtas pėsčiasis, atveju mes pervertiname lūkesčius, susijusius su DI sistemomis, ir savo suvokimą. Kliaudamiesi matematika mes tikimės, kad sistema priims racionalius, teisingus ir laukiamus sprendimus, ir nustembame, kai ji padaro klaidų. Kliaudamiesi technologijomis, kurios vis dar tebeplėtojamos, prarandame budrumą. Taip neturėtų būti. Tragedijų pamoka – suvokti, kad kompiuteriai nemąsto taip, kaip žmonės, todėl vienose situacijose parodo geresnius rezultatus nei mes, o kitose padaro elementarių klaidų, kurių žmogus nepadarytų.

Pavyzdžiui, „Microsoft“ DI sistemą atpažinti baltas kates nuotraukose išmokė taip „gerai“, kad nuotraukose pavaizduotus baltus šunis sistema laikė katėmis. Tokios klaidos joks žmogus nepadarytų. Turime suvokti, kad kiekviena technologija pridaro klaidų, tad lygiai tas pats galioja ir DI. Reikia skirti daugiau laiko tiek pačioms technologijoms tobulinti, tiek žmonėms mokyti, kaip šias technologijas prižiūrėti, kol jos taps tokios protingos, kad žmogaus įsikišimo nebereikės. Tačiau kol jos neįrodys, kad skraido ar vairuoja geriau nei žmogus, visada turi būti jungiklis, kuris sustabdytų lėktuvo skrydį į mirtį.