Kotimaan turvallisuus-, tiede- ja teknologiaosaston tutkimus- ja kehitysyksikkö järjesti tekniikan asiantuntijoista ja vapaaehtoisista koostuvan teknisen rallin etsimään kasvojen tunnistusalgoritmia, joka tunnistaa ihmiset, joilla on naamiot, mahdollisimman tarkasti.
Tapahtuma jatkui 10 päivän ajan. 582 vapaaehtoista testattiin 60 erilaisella kasvojentunnistusjärjestelmällä. Tärkeimmät hankintajärjestelmät olivat Stone, Vly, West, Dans, Besek ja Pine, jotka olivat sekoitus ja ottelu kuudesta erilaisesta kuvankeräysjärjestelmästä, yhdistettynä kymmeneen erilaiseen algoritmiin, jotka arvioitiin niiden kasvojen sieppauskyvyn ja luotettavuuden mukaan. tunnistaa kasvot erittäin tarkasti.
Eri tekoälyn kasvojentunnistusjärjestelmät tuottivat erilaisia tuloksia. Paljastamattomien yksilöiden keskimääräinen tarkkuus oli 93% ja sama naamioitujen keskimäärin 77%. Parhaiten suoriutunut tekniikka oli Dans, joka pystyi tunnistamaan naamioidut ihmiset 96% ajasta ja huonoin tekniikka teki sen vain 4% ajasta. Tulokset perustuivat tehokkuuteen, tyytyväisyyteen, FaceFtAR: iin (epäonnistuminen hankkimisnopeuteen) ja FacemTIR: ään (todellinen tunnistustaajuus).
Tehokkuus määritellään tässä keskimääräisenä ajankohtana, joka testi-vapaaehtoisille tarvitaan tapahtuman suorittamiseen kunkin järjestelmän kanssa. Tehokkuuden kannalta West ja Dans olivat parhaita, koska ne veivät vain 4 sekuntia transaktioaikaa. Tyytyväisyys määritellään tässä positiivisten vastausten antaneiden vapaaehtoisten testattavien osuudeksi. West, Dans ja Besek antoivat tyydyttävimmät tulokset 95%: lla.
Epäonnistuminen hankkimisnopeudessa (FtAR) määritellään tässä niiden tapahtumien osuudeksi, jotka eivät onnistuneet kaappaamaan kuvaa tai jotka eivät onnistuneet kaappaamaan kuvaa, jonka MdTF-sovitusalgoritmi voisi mallintaa. MdTF True Identification Rate (mTIR) määritellään tässä niiden tapahtumien osuudeksi, joissa lähetetty biometrinen kuva vastasi oikeaa vapaaehtoista testiä tai tunnistamaton, jos koehenkilö ei ollut galleriassa. Molemmissa tuloksissa Vly oli kärjessä. Sen FtAR oli 1,7% 20 sekunnissa ja mTIR oli 97,8% 20 sekunnissa.
Tapahtuman koko raporttia ei ole vielä vahvistettu. Voit tarkistaa koko raportin MDTF: ltä, jonka odotetaan tulevina viikkoina.