Ziel

Form und Qualitaet der Bereitstellung des biom. Merkmals

Welche Einflussfaktoren gibt es und wie hoch ist die Beeinflussung des Erkennungsleistung

Ueberwindungssicherheit

Grundlage

1:1 Vergleich,

2 Systeme,

3 Algorithmen mit jeweils zusaetzlichem Gesichtsfindungsalgorithmus (Plus-Variante)

einheitliche Beleuchtungsbedingungen (Schlagschatten- und blendfrei, konstant 130Lux entspechend DIN5035 Teil2 Empfangsraeume und Raeume mit Publikumsverkehr)

Ausweisleser der Bundesdruckerei (Scanner mit ca. 300dpi (472 x 620 Pixel) 8Bit Graustufen)

BKA Wiesbaden, 7 Wochen mit 241 Mitarbeitern (152 mit mehr als 50 Betaetigungen)

Testpopulation S.21-24

  • Testpersonen nur zw. 18 und 64
  • Frauen unterdurchschnittlich vertreten
  • 98% Europaeer -> keine Aussage ueber Erkennungsleistung bei anderen Ethnien


ausgewertete Testbetaetigungen ca 11000 je System

fuer FAR Berechnung ca 57000 je System

Referenzen

  • 1. Bilddatei einer frontalen Bildaufnahme (75kB)
  • 2. Musterpersonalausweis nach ICAO mit frontaler Bildaufnahme (aus 1) (jedes Mal: scannen und neu enrolen)
  • 3. Foto auf EU-Visumaufkleber (aus 1) (142kB)
  • 4. komprimierte Bilddatei gemäß ICAO (aus 1) (14kB)
  • 5. Bilddatei einer Halbprofilaufnahme (75kB)
  • 6. Foto aktueller PA (65kB graustufen)
  • 7. System-Template durch Live Enrolment
  • 8. wie 2. aber einmaliges Enrolment (65kB)

Durchfuehrung

vom 15.5.03 - 2.7.03

PreTests

zur optimalen Konfiguration der Systeme und Kalibierung auf die Umgebungsbedingungen

Hersteller konnten Updates einzuspielen und wesentliche Funktionsparameter modifizieren

TeachIn-Phase

3 Tage mit Mitarbeitern des Projektteams vor Ort

  • Training der Testteilnehmer!
  • Identifizierung und Beseitigung von Problemen und Fehlern vor Testbegin

Updates der Software

fuer beide Systeme wurden Updates eingespielt, bei System A, weil gravierende Maengel (fehlerhafte Verifikationsergebnisse) auftraten

Enrollment

Erstellung eines Fotos durch BKA Fotostelle > Fileenrolment

Livebild vor Erfassungseinheit > Liveenrolment (Template 7)

Enrolment gilt nach 4 erfolglosen Versuchen als gescheitert

wenn in den ersten Tagen haeufige Rueckweisungen ohne Nutzerverschulden beobachtet -> Reenrolment (je 3 Personen pro System)

Verifikation

Ausweisleser der Bundesdruckerei liesst PAnummer und Gesichtsbild

System nimmt Folge von Bildern auf bis Zeitlimit ueberschritten und vergleicht Bilder gegen Referenz

FRR

aus Verifikationen der Teilnehmer

Klassifizierung: (sehr stark < 1%, mittel 3-7%)

FAR

FAR: Vergleich eines Live-Bildes aus System A und B gegen alle Referenzen aller anderer Teilnehmer, FAR liegt niedriger, da nur ein Livebild als Vergleichsgrundlage und nicht viele mit evtl. groesseren Chancen

Klassifizierung: (sehr stark < 0,3%, mittel 1-5%),

Test wie gross der Unterschied zw. Einzelbild und Bildfolge mit 21 Personen, die Gesamtgruppe repraesentieren jede Person mit dem MusterPA jeder anderen Person

Ueberwindungsversuche

Ueberwindungstest mit Referenztemplate 7 (erziehlte die besten Ergebnisse in vorherigen Tests) Unberechtigter und Berechtigter fuehrten 10 Betaetigungen durch, Aussehen der Unberechtigten wurde nicht an das der Berechtigten angepasst

Ergebnis

nicht verwendet wurden

Zahl der ungeeigneten Bilder (ca. 700) mit Gruenden S.36

  • Versuche waerend eines Beleuchtungsausfalls
  • System befand sich in undefiniertem Zustand (Status und Feedback waren nicht konsitent)
  • Fehlfunktion der Kamera
  • nicht Kooperatives Verhalten (Grimassen)


Forderungen

  • Schaffung kontrollierter Umgebungen bezueglich Lichteinfall
  • Verbesserung der Ueberwindungssicherheit
  • Untersuchung des Einflusses des Alterungseffektes auf die Erkennungsleistung


Eignung der Bilder

aktueller PA nicht fuer biom. Gesichtserkennung geeignet (schlechter Bildqualitaet (Kontrast) und Gesicht im Halbprofil)

Musterausweis nach ICAO zeigt, dass Vergleich mit vom Ausweis gescanntem Bild moeglich, wenn Ergebins auch noch nicht zufriedenstellend

EU Visum sehr schlechte Erkennung, weil optische Sicherheitsmerkmale im Foto

Fehlerraten

FER: bei Liveenrolment = 0%, Enrolment vom PA FER = 7%

Einflussfaktoren

Kompression

  • schwache Kompression (75kB) vernachlaessigbarer Einfluss
  • nach ICAO (14kB) noch akzeptabel
  • 11kB deutlicher Abfall

Bildaufloesung

Verringerung fuehrt zu leicht schlechteren Ergebnissen

zweiter Gesichtsfindungsalgorithmus (Plus-Variante) funktionierte aber nicht mehr

Lichteinfall

von der Seite hat grossen EInfluss, Hintergrundlicht vernachlaessigbar

Leistungsfaehigkeit des Erfassungssystems (Kamera)


Alter

Trend, dass Leistung mit zunehmenen Alter des Bildes abnimmt

Ueberwindungssicherheit

keine Lebenderkennung gefordert

Ueberwindung mit einfachsten Mitteln (Foto)

augenscheinlich nicht aehnliche Personen wurden vom System verwechselt

Nutzerbefragung

Systeme noch Stoeranfaellig

generelle Nuetzlichkeit wird nur von 1/3 gesehen!

Gesichtserkennung sollte nicht unbetreut eingesetzt werden