Face Recognition

Face Recognition adalah keluarga pipeline analitik video real-time yang mendeteksi wajah dalam stream video, mengekstrak fitur wajah unik, dan mencocokkannya dengan database identitas yang sudah terdaftar. Sistem ini dapat mengidentifikasi individu yang dikenal (VIP, karyawan, watchlist) atau mendeteksi wajah tidak dikenal untuk enrollment dan tracking. Tersedia tujuh varian pipeline yang terbagi menjadi dua arsitektur: Native (deteksi dan recognition keduanya dijalankan di GPU server) dan Hybrid (deteksi wajah dilakukan oleh kamera atau perangkat edge melalui protokol vendor, server hanya melakukan recognition).

Pilih Varian

Visionaire menyediakan tujuh varian Face Recognition yang dapat dipilih sesuai dengan ketersediaan GPU server, jenis kamera/perangkat sumber, dan kebutuhan atribut demografis.

Native vs Hybrid

Pada varian Native (NFV4-FR, NFV4-FRA, NFV4-LFR), GPU server melakukan dua tahap inferensi: deteksi wajah (lokalisasi bounding box) dan ekstraksi embedding untuk recognition. Pendekatan ini memberikan akurasi maksimal dan kontrol penuh atas parameter deteksi, tetapi membutuhkan kapasitas GPU yang lebih besar per stream.

Pada varian Hybrid (NFV4H-FR, NFV4H-ISAPI-FR, NFV4H-WZMND-FR, NFV4H-MOBLE-FR), kamera atau perangkat edge melakukan deteksi wajah secara mandiri dan mengirimkan crop wajah beserta metadata bounding box ke server. Server hanya melakukan ekstraksi embedding dan pencocokan ke FREMIS-N. Pendekatan ini menghemat GPU server secara signifikan, tetapi mengharuskan perangkat sumber mendukung protokol yang sesuai:

• NFV4H-ISAPI-FR — kamera Hikvision dengan dukungan event Face Snap melalui protokol ISAPI
• NFV4H-WZMND-FR — kamera Dahua dengan dukungan WizMind Face Detection (metadata stream ONVIF)
• NFV4H-MOBLE-FR — perangkat Android yang menjalankan SDK mobile Nodeflux untuk deteksi on-device
• NFV4H-FR — integrasi hybrid generic untuk skenario kustom

Apa yang Dilakukan

Kemampuan

• Deteksi wajah real-time — mendeteksi wajah manusia dalam frame video. Pada varian Native dilakukan oleh GPU server; pada varian Hybrid dilakukan oleh kamera/perangkat edge.
• Pengenalan identitas — semua varian mencocokkan wajah terdeteksi dengan database wajah FREMIS-N di server.
• Multi-face tracking — melacak beberapa wajah sekaligus dengan track ID unik per individu.
• Penilaian kualitas wajah — memfilter gambar buram, terlalu kecil, atau berkualitas rendah sebelum diproses (berlaku untuk semua varian).
• Supresi wajah statis — menghindari deteksi berulang pada foto, poster, atau wajah yang diam.
• Analisis atribut (NFV4-FRA, NFV4H-ISAPI-FR, NFV4H-WZMND-FR, NFV4H-MOBLE-FR) — estimasi gender, usia, dan atribut pakaian secara paralel. Tidak tersedia pada NFV4-FR, NFV4-LFR, dan NFV4H-FR.
• Mode deployment edge — NFV4-LFR dirancang untuk perangkat dengan resource GPU terbatas (footprint memori dan kompute lebih kecil).

Yang TIDAK Dilakukan

• Tidak mengidentifikasi emosi — FR hanya mendeteksi dan mengenali wajah, bukan menganalisis ekspresi
• Tidak menjamin akurasi 100% — akurasi dipengaruhi pencahayaan, sudut kamera, dan kualitas enrollment
• Tidak mengenali wajah yang tidak terdaftar — hanya wajah yang sudah di-enrollment yang bisa diidentifikasi; wajah lain diberi status UNKNOWN
• Tidak berfungsi tanpa FREMIS-N — modul database wajah FREMIS-N harus berjalan sebagai dependensi untuk semua varian

Use Cases

Cara Kerja

Visionaire menjalankan Face Recognition dengan dua pola arsitektur. Diagram pertama menggambarkan flow Native (varian NFV4-FR, NFV4-FRA, NFV4-LFR); diagram kedua menggambarkan flow Hybrid (varian NFV4H-FR, NFV4H-ISAPI-FR, NFV4H-WZMND-FR, NFV4H-MOBLE-FR).

Native Flow

Saat frame video masuk, GPU server pertama-tama mendeteksi semua wajah beserta koordinat dan landmark-nya. Setiap wajah diberi track_id unik agar bisa dilacak antar frame. Wajah yang tidak memenuhi syarat kualitas — terlalu kecil, terlalu buram, atau sudut terlalu miring — langsung difilter. Wajah yang lolos filter dikumpulkan selama beberapa frame untuk mendapatkan sampel terbaik, lalu sistem mengekstrak fitur wajah sebagai vektor dan mencari kecocokan di database FREMIS-N.

Hybrid Flow

Pada flow Hybrid, kamera atau perangkat edge melakukan deteksi wajah secara mandiri menggunakan kemampuan bawaan firmware (Hikvision ISAPI, Dahua WizMind) atau SDK on-device (Android). Crop wajah dan metadata bounding box dikirim ke server Visionaire. Server hanya menjalankan tahap ekstraksi embedding dan pencarian FREMIS-N, sehingga beban GPU server jauh lebih ringan dibandingkan flow Native.

Persyaratan

Kamera

Persyaratan Kamera (Hybrid)

Untuk varian hybrid spesifik vendor, kamera atau perangkat sumber harus mendukung protokol berikut:

Lingkungan

• Pencahayaan — merata, hindari backlight (cahaya kuat di belakang subjek). Pastikan wajah tidak berbayangan keras.
• Pemasangan kamera — setinggi wajah (1,5–1,8 m) jika memungkinkan. Untuk mode FRONTAL, sudut deviasi maksimal 15° dari frontal.
• Jarak — kamera dipasang 1–3 meter dari titik scan untuk mendapatkan ukuran wajah yang cukup.

Dependensi

• FREMIS-N — layanan database wajah yang harus berjalan dan dapat diakses oleh Visionaire4. Enrollment wajah dilakukan melalui FREMIS-N API. Wajib untuk semua tujuh varian.

Setting Up

Konfigurasi

Parameter API

Parameter yang dikirim saat membuat pipeline via REST API. Parameter API meng-override environment variable untuk instance pipeline tertentu.

Parameter Deteksi

Parameter Recognition

Parameter Sampling & Event

Filter Kualitas

Environment Variable

Environment variable berlaku untuk semua pipeline yang tidak menentukan parameter tersebut secara eksplisit.

Deteksi & Recognition

Sampling & Event

Performa

Filter Kualitas

Output yang Dihasilkan

Pipeline menghasilkan event JSON setiap kali wajah berhasil diproses. Event dikirim via webhook ke endpoint yang dikonfigurasi. Field analytic_id mengidentifikasi varian pipeline mana yang memancarkan event tersebut — salah satu dari NFV4-FR, NFV4-FRA, NFV4-LFR, NFV4H-FR, NFV4H-ISAPI-FR, NFV4H-WZMND-FR, atau NFV4H-MOBLE-FR.

Struktur Event

{
  "analytic_id": "NFV4-FR",
  "timestamp": "2024-01-15T10:30:00Z",
  "stream_id": "5136c6c0916cd30c",
  "detections": [
    {
      "face_id": "employee_456",
      "similarity": 0.92,
      "status": "KNOWN",
      "track_id": 1,
      "variation": "var_1",
      "confidence_detection": 0.98,
      "detection_size": { "w": 120, "h": 150 },
      "sharpness_score": 8.5,
      "attributes": {
        "detection": { "confidence": 0.98, "label": "face" },
        "recognition": { "confidence": 0.92, "label": "employee_456" }
      },
      "location": { "latitude": -6.261376, "longitude": 106.823649 }
    }
  ]
}

Untuk varian yang menjalankan klasifikasi atribut (NFV4-FRA, NFV4H-ISAPI-FR, NFV4H-WZMND-FR, NFV4H-MOBLE-FR), field attributes berisi tambahan klasifikasi seperti gender, estimasi usia, status pemakaian masker, dan atribut pakaian lainnya, di samping field detection dan recognition standar.

Field Utama

Best Practices

Limitations

• Pengaruh pencahayaan — pencahayaan buruk, backlight, atau bayangan keras menurunkan akurasi deteksi dan recognition secara signifikan
• Oklusi wajah — masker, kacamata hitam, topi lebar, atau rambut yang menutupi wajah menurunkan akurasi pengenalan
• Wajah sangat kecil — wajah di bawah fr_min_face_size (default 20 pixel tinggi) difilter; akurasi recognition tetap rendah pada wajah di bawah 80–100 pixel meskipun lolos filter, jadi kamera terlalu jauh dari subjek tidak akan menghasilkan pengenalan yang andal
• Gerakan cepat — motion blur dari gerakan cepat dapat menyebabkan gambar wajah tidak dapat diproses
• Wajah dari samping ekstrem — mode FRONTAL tidak memproses wajah yang berpaling lebih dari ~30° dari kamera
• Kembar identik — sistem memiliki kemampuan membedakan kembar, tetapi untuk keamanan sangat tinggi pertimbangkan faktor autentikasi tambahan
• Database besar — performa pencarian FREMIS-N dapat menurun dengan database sangat besar; konsultasikan kapasitas dengan tim infrastruktur
• Kualitas deteksi varian Hybrid — pada varian hybrid, akurasi dan recall deteksi bergantung pada algoritma deteksi yang berjalan di kamera/perangkat sumber. Visionaire tidak dapat menyetel parameter deteksi pada perangkat tersebut.
• Atribut tidak tersedia di semua varian — varian NFV4-FR, NFV4-LFR, dan NFV4H-FR tidak menjalankan klasifikasi atribut; gunakan varian lain jika data demografis dibutuhkan.

Modul Terkait