(Ergebnis)
(Nutzerbefragung)
 
(15 dazwischenliegende Versionen von einem anderen Benutzer werden nicht angezeigt)
Zeile 8: Zeile 8:
 
== Grundlage ==
 
== Grundlage ==
 
1:1 Vergleich,
 
1:1 Vergleich,
 +
 
2 Systeme,
 
2 Systeme,
 +
 
3 Algorithmen mit jeweils zusaetzlichem Gesichtsfindungsalgorithmus (Plus-Variante)
 
3 Algorithmen mit jeweils zusaetzlichem Gesichtsfindungsalgorithmus (Plus-Variante)
  
Zeile 17: Zeile 19:
 
BKA Wiesbaden, 7 Wochen mit 241 Mitarbeitern (152 mit mehr als 50 Betaetigungen)
 
BKA Wiesbaden, 7 Wochen mit 241 Mitarbeitern (152 mit mehr als 50 Betaetigungen)
  
98% Europaeer -> keine Aussage ueber Erkennungsleistung bei anderen Ethnien
+
Testpopulation S.21-24
 +
*Testpersonen nur zw. 18 und 64
 +
*Frauen unterdurchschnittlich vertreten
 +
*98% Europaeer -> keine Aussage ueber Erkennungsleistung bei anderen Ethnien
  
 +
 +
ausgewertete Testbetaetigungen ca 11000 je System
 +
 +
fuer FAR Berechnung ca 57000 je System
  
 
== Referenzen ==
 
== Referenzen ==
 
*1. Bilddatei einer frontalen Bildaufnahme (75kB)
 
*1. Bilddatei einer frontalen Bildaufnahme (75kB)
*2. Musterpersonalausweis mit frontaler Bildaufnahme (aus 1) (jedes Mal: scannen und neu enrolen)
+
*2. Musterpersonalausweis nach ICAO mit frontaler Bildaufnahme (aus 1) (jedes Mal: scannen und neu enrolen)
 
*3. Foto auf EU-Visumaufkleber (aus 1) (142kB)
 
*3. Foto auf EU-Visumaufkleber (aus 1) (142kB)
 
*4. komprimierte Bilddatei gemäß ICAO (aus 1) (14kB)
 
*4. komprimierte Bilddatei gemäß ICAO (aus 1) (14kB)
Zeile 31: Zeile 40:
  
 
== Durchfuehrung ==
 
== Durchfuehrung ==
 +
vom 15.5.03 - 2.7.03
 +
 +
=== PreTests ===
 +
zur optimalen Konfiguration der Systeme und Kalibierung auf die Umgebungsbedingungen
 +
 +
Hersteller konnten Updates einzuspielen und wesentliche Funktionsparameter modifizieren
 +
 +
=== TeachIn-Phase ===
 +
3 Tage mit Mitarbeitern des Projektteams vor Ort
 +
 +
*Training der Testteilnehmer!
 +
*Identifizierung und Beseitigung von Problemen und Fehlern vor Testbegin
 +
 +
=== Updates der Software ===
 +
fuer beide Systeme wurden Updates eingespielt, bei System A, weil gravierende Maengel (fehlerhafte Verifikationsergebnisse) auftraten
 +
 
=== Enrollment ===
 
=== Enrollment ===
 
Erstellung eines Fotos durch BKA Fotostelle > Fileenrolment
 
Erstellung eines Fotos durch BKA Fotostelle > Fileenrolment
Zeile 38: Zeile 63:
 
Enrolment gilt nach 4 erfolglosen Versuchen als gescheitert
 
Enrolment gilt nach 4 erfolglosen Versuchen als gescheitert
  
wenn in den ersten Tagen haeufige Rueckweisungen ohne Nutzerverschulden beobachtet -> Reenrolment (je 3 pro System)  
+
wenn in den ersten Tagen haeufige Rueckweisungen ohne Nutzerverschulden beobachtet -> Reenrolment (je 3 Personen pro System)
  
 
=== Verifikation ===
 
=== Verifikation ===
Zeile 62: Zeile 87:
  
 
== Ergebnis ==
 
== Ergebnis ==
Eignung der Bilder auf Ausweisen:
+
Tabelle S.89
  
PA nicht fuer biom. Gesichtserkennung geeignet (schlechter Bildqualitaet (Kontrast) und Gesicht im Halbprofil)
+
=== nicht verwendet wurden ===
 +
Zahl der ungeeigneten Bilder (ca. 700) mit Gruenden  S.36
 +
*Versuche waerend eines Beleuchtungsausfalls
 +
*System befand sich in undefiniertem Zustand (Status und Feedback waren nicht konsitent)
 +
*Fehlfunktion der Kamera
 +
*nicht Kooperatives Verhalten (Grimassen)
 +
 
 +
=== Forderungen ===
 +
*Schaffung kontrollierter Umgebungen bezueglich Lichteinfall
 +
*Verbesserung der Ueberwindungssicherheit
 +
*Untersuchung des Einflusses des Alterungseffektes auf die Erkennungsleistung
 +
 
 +
 
 +
=== Eignung der Bilder ===
 +
 
 +
aktueller PA nicht fuer biom. Gesichtserkennung geeignet (schlechter Bildqualitaet (Kontrast) und Gesicht im Halbprofil)
  
 
Musterausweis nach ICAO zeigt, dass Vergleich mit vom Ausweis gescanntem Bild moeglich, wenn Ergebins auch noch nicht zufriedenstellend
 
Musterausweis nach ICAO zeigt, dass Vergleich mit vom Ausweis gescanntem Bild moeglich, wenn Ergebins auch noch nicht zufriedenstellend
Zeile 71: Zeile 111:
  
 
=== Fehlerraten ===
 
=== Fehlerraten ===
 +
==== FER ====
 +
*Liveenrolment = 0%
 +
*Enrolment vom PA = 7%
 +
 +
==== FRR bei FAR=1% ====
 +
siehe auch Tabellen S.87 uns S.88 !! sowie Diagramme S.47 und S.48
 +
 +
 +
gemittelte gegen alle Algorithmen
 +
*Ref. 4 (komprimiertes Bild nach ICAO): 5-50%
 +
*Ref. 7 (Template Lifeenrolment): 1-60%
 +
*Ref. 8 (Foto Musterpersonalausweis): 9-50%
 +
 +
nur Algorithmus 1 (der Beste)
 +
*Ref. 7: 0,5%
 +
*Ref. 1: 3%
 +
*Ref. 4: 4%
 +
*Ref. 8: 9%
 +
*Ref. 3: ca. 15%
 +
*Ref. 5: ca. 30%
 +
*Ref. 6: ca. 55%
 +
 +
*Ref. 4 + FAR=0,1%: 12% bei mehr als 30% der Betaetigungen zurueckgewiesen
 +
*Ref. 8 + FAR=0,1%: 16% bei mehr als 50% der Betaetigungen zurueckgewiesen
 +
 +
==== FAR ====
 +
ermittelten Werte durch Vergleich eines rerpaesentativen Bildes gegen ein Bild aller anderen Teilnehmer
 +
 +
Test mit 21 Beteiligten zeigt, dass Identifikation auf Basis von Bildsequenzen deutlich hoehere FAR zur Folge hat S.65
  
FER: bei Liveenrolment = 0%, Enrolment vom PA FER = 7%
 
  
 
=== Einflussfaktoren ===
 
=== Einflussfaktoren ===
Zeile 86: Zeile 154:
  
 
==== Lichteinfall ====  
 
==== Lichteinfall ====  
von der Seite hat grossen EInfluss, Hintergrundlicht vernachlaessigbar
+
=====von der Seite=====
 +
extreme Verschlechterung fuer beide Systeme
 +
 
 +
=====Licht von vorne======
 +
*System A starke Verschlechterung
 +
*System B leichte Verbesserung (starke Verschlechterung bei Ref. 7)
 +
 
 +
=====Licht von hinten=====
 +
*System A signifikante Verschlechterung
 +
*System B keinen Einfluss
  
 
Leistungsfaehigkeit des Erfassungssystems (Kamera)
 
Leistungsfaehigkeit des Erfassungssystems (Kamera)
Zeile 92: Zeile 169:
  
 
==== Alter ====
 
==== Alter ====
 +
User50 + Ref. 6 + FAR=0,1%
 +
 +
FRR zwischen 60% und 98% (S.70)
 +
 
Trend, dass Leistung mit zunehmenen Alter des Bildes abnimmt
 
Trend, dass Leistung mit zunehmenen Alter des Bildes abnimmt
 +
  
 
==== Ueberwindungssicherheit ====
 
==== Ueberwindungssicherheit ====
 
keine Lebenderkennung gefordert
 
keine Lebenderkennung gefordert
  
Ueberwindung mit einfachsten Mitteln (Foto)
+
Ueberwindung mit einfachsten Mitteln (Foto und Video) haben funktioniert
  
augenscheinlich nicht aehnliche Personen wurden vom System verwechselt
+
aehnlich auasehende Personen wurden nicht zusaetzlich angepasst (schminke, bart) und erziehlten trotzdem hohe Matchscores z.B. 0,74 (Berechtigter=0,77)
 +
 +
auch augenscheinlich nicht aehnliche Personen wurden vom System verwechselt
  
==== Benutzerakzeptanz ====
+
"Die Verifikation biometrischer Merkmale wird eine Überwindung nie hundertprozentig verhindern
 +
können. Dies liegt unter anderem darin begründet, dass das Ziel einer akzeptablen
 +
Falschabweisungsrate zur Einstellung eines Schwellwertes führt, der von einem Angreifer zur
 +
Überwindung ausgenutzt werden kann." S.72
 +
 
 +
==== Nutzerbefragung ====
 
Systeme noch Stoeranfaellig
 
Systeme noch Stoeranfaellig
  
 
generelle Nuetzlichkeit wird nur von 1/3 gesehen!
 
generelle Nuetzlichkeit wird nur von 1/3 gesehen!
 +
 +
Gesichtserkennung sollte nicht unbetreut eingesetzt werden S.78
 +
 +
[[Kategorie:Biometrie]]

Aktuelle Version vom 14. November 2006, 03:40 Uhr

Ziel

Form und Qualitaet der Bereitstellung des biom. Merkmals

Welche Einflussfaktoren gibt es und wie hoch ist die Beeinflussung des Erkennungsleistung

Ueberwindungssicherheit

Grundlage

1:1 Vergleich,

2 Systeme,

3 Algorithmen mit jeweils zusaetzlichem Gesichtsfindungsalgorithmus (Plus-Variante)

einheitliche Beleuchtungsbedingungen (Schlagschatten- und blendfrei, konstant 130Lux entspechend DIN5035 Teil2 Empfangsraeume und Raeume mit Publikumsverkehr)

Ausweisleser der Bundesdruckerei (Scanner mit ca. 300dpi (472 x 620 Pixel) 8Bit Graustufen)

BKA Wiesbaden, 7 Wochen mit 241 Mitarbeitern (152 mit mehr als 50 Betaetigungen)

Testpopulation S.21-24

  • Testpersonen nur zw. 18 und 64
  • Frauen unterdurchschnittlich vertreten
  • 98% Europaeer -> keine Aussage ueber Erkennungsleistung bei anderen Ethnien


ausgewertete Testbetaetigungen ca 11000 je System

fuer FAR Berechnung ca 57000 je System

Referenzen

  • 1. Bilddatei einer frontalen Bildaufnahme (75kB)
  • 2. Musterpersonalausweis nach ICAO mit frontaler Bildaufnahme (aus 1) (jedes Mal: scannen und neu enrolen)
  • 3. Foto auf EU-Visumaufkleber (aus 1) (142kB)
  • 4. komprimierte Bilddatei gemäß ICAO (aus 1) (14kB)
  • 5. Bilddatei einer Halbprofilaufnahme (75kB)
  • 6. Foto aktueller PA (65kB graustufen)
  • 7. System-Template durch Live Enrolment
  • 8. wie 2. aber einmaliges Enrolment (65kB)

Durchfuehrung

vom 15.5.03 - 2.7.03

PreTests

zur optimalen Konfiguration der Systeme und Kalibierung auf die Umgebungsbedingungen

Hersteller konnten Updates einzuspielen und wesentliche Funktionsparameter modifizieren

TeachIn-Phase

3 Tage mit Mitarbeitern des Projektteams vor Ort

  • Training der Testteilnehmer!
  • Identifizierung und Beseitigung von Problemen und Fehlern vor Testbegin

Updates der Software

fuer beide Systeme wurden Updates eingespielt, bei System A, weil gravierende Maengel (fehlerhafte Verifikationsergebnisse) auftraten

Enrollment

Erstellung eines Fotos durch BKA Fotostelle > Fileenrolment

Livebild vor Erfassungseinheit > Liveenrolment (Template 7)

Enrolment gilt nach 4 erfolglosen Versuchen als gescheitert

wenn in den ersten Tagen haeufige Rueckweisungen ohne Nutzerverschulden beobachtet -> Reenrolment (je 3 Personen pro System)

Verifikation

Ausweisleser der Bundesdruckerei liesst PAnummer und Gesichtsbild

System nimmt Folge von Bildern auf bis Zeitlimit ueberschritten und vergleicht Bilder gegen Referenz

FRR

aus Verifikationen der Teilnehmer

Klassifizierung: (sehr stark < 1%, mittel 3-7%)

FAR

FAR: Vergleich eines Live-Bildes aus System A und B gegen alle Referenzen aller anderer Teilnehmer, FAR liegt niedriger, da nur ein Livebild als Vergleichsgrundlage und nicht viele mit evtl. groesseren Chancen

Klassifizierung: (sehr stark < 0,3%, mittel 1-5%),

Test wie gross der Unterschied zw. Einzelbild und Bildfolge mit 21 Personen, die Gesamtgruppe repraesentieren jede Person mit dem MusterPA jeder anderen Person

Ueberwindungsversuche

Ueberwindungstest mit Referenztemplate 7 (erziehlte die besten Ergebnisse in vorherigen Tests) Unberechtigter und Berechtigter fuehrten 10 Betaetigungen durch, Aussehen der Unberechtigten wurde nicht an das der Berechtigten angepasst

Ergebnis

Tabelle S.89

nicht verwendet wurden

Zahl der ungeeigneten Bilder (ca. 700) mit Gruenden S.36

  • Versuche waerend eines Beleuchtungsausfalls
  • System befand sich in undefiniertem Zustand (Status und Feedback waren nicht konsitent)
  • Fehlfunktion der Kamera
  • nicht Kooperatives Verhalten (Grimassen)

Forderungen

  • Schaffung kontrollierter Umgebungen bezueglich Lichteinfall
  • Verbesserung der Ueberwindungssicherheit
  • Untersuchung des Einflusses des Alterungseffektes auf die Erkennungsleistung


Eignung der Bilder

aktueller PA nicht fuer biom. Gesichtserkennung geeignet (schlechter Bildqualitaet (Kontrast) und Gesicht im Halbprofil)

Musterausweis nach ICAO zeigt, dass Vergleich mit vom Ausweis gescanntem Bild moeglich, wenn Ergebins auch noch nicht zufriedenstellend

EU Visum sehr schlechte Erkennung, weil optische Sicherheitsmerkmale im Foto

Fehlerraten

FER

  • Liveenrolment = 0%
  • Enrolment vom PA = 7%

FRR bei FAR=1%

siehe auch Tabellen S.87 uns S.88 !! sowie Diagramme S.47 und S.48


gemittelte gegen alle Algorithmen

  • Ref. 4 (komprimiertes Bild nach ICAO): 5-50%
  • Ref. 7 (Template Lifeenrolment): 1-60%
  • Ref. 8 (Foto Musterpersonalausweis): 9-50%

nur Algorithmus 1 (der Beste)

  • Ref. 7: 0,5%
  • Ref. 1: 3%
  • Ref. 4: 4%
  • Ref. 8: 9%
  • Ref. 3: ca. 15%
  • Ref. 5: ca. 30%
  • Ref. 6: ca. 55%
  • Ref. 4 + FAR=0,1%: 12% bei mehr als 30% der Betaetigungen zurueckgewiesen
  • Ref. 8 + FAR=0,1%: 16% bei mehr als 50% der Betaetigungen zurueckgewiesen

FAR

ermittelten Werte durch Vergleich eines rerpaesentativen Bildes gegen ein Bild aller anderen Teilnehmer

Test mit 21 Beteiligten zeigt, dass Identifikation auf Basis von Bildsequenzen deutlich hoehere FAR zur Folge hat S.65


Einflussfaktoren

Kompression

  • schwache Kompression (75kB) vernachlaessigbarer Einfluss
  • nach ICAO (14kB) noch akzeptabel
  • 11kB deutlicher Abfall

Bildaufloesung

Verringerung fuehrt zu leicht schlechteren Ergebnissen

zweiter Gesichtsfindungsalgorithmus (Plus-Variante) funktionierte aber nicht mehr

Lichteinfall

von der Seite

extreme Verschlechterung fuer beide Systeme

Licht von vorne=
  • System A starke Verschlechterung
  • System B leichte Verbesserung (starke Verschlechterung bei Ref. 7)
Licht von hinten
  • System A signifikante Verschlechterung
  • System B keinen Einfluss

Leistungsfaehigkeit des Erfassungssystems (Kamera)


Alter

User50 + Ref. 6 + FAR=0,1%

FRR zwischen 60% und 98% (S.70)

Trend, dass Leistung mit zunehmenen Alter des Bildes abnimmt


Ueberwindungssicherheit

keine Lebenderkennung gefordert

Ueberwindung mit einfachsten Mitteln (Foto und Video) haben funktioniert

aehnlich auasehende Personen wurden nicht zusaetzlich angepasst (schminke, bart) und erziehlten trotzdem hohe Matchscores z.B. 0,74 (Berechtigter=0,77)

auch augenscheinlich nicht aehnliche Personen wurden vom System verwechselt

"Die Verifikation biometrischer Merkmale wird eine Überwindung nie hundertprozentig verhindern können. Dies liegt unter anderem darin begründet, dass das Ziel einer akzeptablen Falschabweisungsrate zur Einstellung eines Schwellwertes führt, der von einem Angreifer zur Überwindung ausgenutzt werden kann." S.72

Nutzerbefragung

Systeme noch Stoeranfaellig

generelle Nuetzlichkeit wird nur von 1/3 gesehen!

Gesichtserkennung sollte nicht unbetreut eingesetzt werden S.78