Studi kasus: akurasi 90%+ berkelanjutan pada program anotasi interpolasi Transperfect Dataforce

Transperfect Dataforce adalah divisi anotasi data dari Transperfect, perusahaan layanan bahasa dan konten global yang dikenal publik. Divisi Dataforce menjalankan program anotasi, evaluasi, dan koleksi data untuk training foundation model dan AI vertikal, dan beroperasi di 20+ negara. Vendor dinamai dalam studi kasus ini karena program dirujuk di material publik mereka dan data operasional di bawah konsisten dengan yang mereka publikasikan.

Program ini adalah kaki Indonesia dari kohort anotasi multi-region yang mencakup motion olahraga (basket, football, senam), motion training (yoga, strength training, tari), dan motion otomotif (pedestrian tracking, in-cabin driver monitoring). Pod Indonesia menangani work shift Asia-region dan EU-prime-time; SOP dan gold set yang sama digunakan oleh pod paralel di region lain.

Untuk setiap klip video, anotator menerima 24–48 frame, menandai state objek di frame N, memprediksi state di frame N+24, menggambar bounding box, poligon, atau keypoint yang sesuai, dan menandai edge case: motion blur, oklusi, transisi scene, beberapa objek dari kelas yang sama, visibilitas parsial. Output adalah JSON manifest per klip dengan koordinat level frame plus confidence dan motion-class tag per objek.

Tiga sub-stream memberi makan program. Motion olahraga mencakup kira-kira 45% volume, motion training 35%, dan motion otomotif 20%. Stream olahraga adalah volume tertinggi tapi error rate terendah; stream otomotif adalah volume terendah tapi error rate tertinggi karena deteksi small-object (pedestrian di jarak, refleksi dashboard).

Lantai akurasi kontraktual Transperfect adalah 90% pada sampel QA mingguan sisi klien. Di bawah 90% selama dua minggu berturut-turut memicu rencana remediasi; di bawah 88% selama satu minggu memicu eskalasi langsung. Target 90% adalah garis di mana data berlabel berguna untuk training model downstream klien; di bawah 90%, label noise terlalu tinggi untuk dilatih.

Akurasi sustained aktual Zipang pada program sudah di atas 90% sejak minggu 12. Rolling average 12-minggu sudah antara 91% dan 93% lintas 2024 dan 2025, menutup 2025 di 92,1%. Kurva akurasi dari minggu 1 (78%) ke minggu 12 (92%) adalah cerita operasional program dan didokumentasikan di bawah.

Funnel 5-gate Zipang diterapkan dengan kuis gate 3 spesifik anotasi interpolasi: 100 klip video pendek (olahraga, training, otomotif) yang kandidat harus menghasilkan label frame-N dan frame-N+24 per SOP klien. Kuis dinilai terhadap set jawaban beku; ambang lulus adalah 80% akurasi kuis, yang mendekati akurasi produksi minggu 1 78% plus headroom kecil untuk ramp.

Pass rate agregat untuk program ini: gate 1 mempertahankan 26% pelamar, gate 2 mempertahankan 47%, gate 3 mempertahankan 54%, gate 4 mempertahankan 71%, gate 5 mempertahankan 81%. End-to-end, 60 dari kira-kira 1.800 pelamar (3,3%) mencapai kohort trial berbayar. Dari 60, 20 ber-konversi ke full-time produksi (33% konversi trialler-ke-full-time). Konversi yang lebih rendah versus program ritel Prancis mencerminkan tugas yang lebih sulit; program butuh lebih sedikit operator yang lebih tajam, bukan kohort lebih besar.

Kohort produksi aktif adalah 20 agen full-time — grup yang sengaja kecil. Program Transperfect memberi reward pada akurasi sustained dan klien memilih lebih sedikit operator yang lebih tajam di atas kohort lebih besar, sebagian karena tugas tidak scale secara linear: siklus QA reviewer dan gold set adalah bottleneck, dan kohort 50-operator akan butuh dua QA reviewer full-time, sedangkan kohort 20-operator butuh satu.

20 agen didistribusikan lintas Jakarta, Bandung, dan Yogyakarta. Kalibrasi gold set mingguan berjalan pada set beku 200 kasus: setiap Jumat, kohort penuh melabel ulang 200 kasus, skor dihitung melawan jawaban gold, dan operator manapun yang akurasinya turun di bawah 89% pada gold set ditarik ke sesi retraining 1:1 sebelum produksi live minggu depan.

Tiga lapis review berjalan pada setiap klip. Pertama, peer review di frame N: operator kedua melabel frame N secara independen, dan disagree lebih dari 5% pada IoU bounding box memicu re-anotasi. Kedua, supervisor review di frame N+24: QA supervisor meninjau setiap prediksi N+24 melawan video sumber, menilai motion-continuity dan tagging edge case. Ketiga, kalibrasi gold set mingguan pada set beku 200 kasus, dinilai oleh kohort penuh dan dibandingkan ke minggu sebelumnya.

Tracking KPI granularitas mikrodetik berarti setiap label, setiap disagree, setiap re-anotasi di-cap timestamp dan attributable. Tim operasi dapat menjawab pertanyaan seperti 'operator mana yang drift pada sub-stream otomotif setelah gold set diperbarui di minggu 18' dalam satu query dashboard. Tanpa granularitas timestamp, siklus kalibrasi mingguan akan berjalan buta.

Akurasi produksi minggu 1 mendarat di 78% pada batch 2.000-klip pertama — jauh di bawah target 90%. Analisis error menunjukkan tiga cluster: edge case motion-blur (operator menggambar box terlalu ketat, kehilangan objek ketika melewati batas frame), deteksi small-object otomotif (pedestrian di jarak terlewat sepenuhnya), dan frame transisi scene (operator melabel frame post-transition alih-alih transition itu sendiri).

Minggu 2–4: retraining tertarget pada tiga cluster error, menggunakan gold set sebagai rubrik pengajaran. Akurasi produksi naik ke 82% pada minggu 4. Minggu 5–8: introduksi lapis peer-review-at-frame-N, yang menangkap disagree sebelum mereka mencapai klien. Akurasi naik ke 88% pada minggu 8. Minggu 9–12: introduksi penuh supervisor review di frame N+24, ditambah gold set mingguan 200-kasus. Akurasi melewati 90% di minggu 11 dan mendarat di 92% di minggu 12.

Kurva sudah stabil sejak minggu 12, berosilasi antara 91% dan 93% pada rolling average 12-minggu. Angka 92,1% untuk akhir-2025 ada di dalam band itu.

Yang klien dapat: 20 agen produksi full-time Indonesia yang mempertahankan akurasi sustained 90%+ pada anotasi interpolasi lintas stream olahraga, training, dan otomotif. Dashboard KPI mingguan. Attribusi mikrodetik dari setiap label, disagree, dan re-anotasi. Laporan kalibrasi bulanan yang menunjukkan skor gold set, drift, dan sesi retraining. Kurva akurasi dari 78% ke 92% lintas 12 minggu pertama, dengan metodologi yang memproduksinya.

Yang klien tidak dapat: penamaan publik operator atau trainer individual pada program. Agen adalah pekerja remote Indonesia yang identitas individunya tidak dipublikasikan. Trainer dan QA supervisor adalah staf Zipang dan juga tidak dinamai individual. Program dirujuk dalam agregat (432 di-deploy, 90%+ sustained, konversi 60 → 20), bukan berdasarkan nama.

Program berjalan pada kontrak tahunan, auto-renew dalam termin 12-bulan kecuali salah satu pihak memberikan pemberitahuan 60-hari. Pricing adalah per-task-delivered dengan bonus kualitas yang trigger ketika akurasi rolling 12-minggu bertahan di atas 91%. Garansi replacement 30-hari mencakup agen manapun yang jatuh di bawah ambang gold set selama dua minggu berturut-turut atau yang memicu event eskalasi. Window 90-hari mencakup issue non-performa yang muncul belakangan (throughput konsisten lambat, flag QA berulang, atau kegagalan mempertahankan coverage shift).

Replacement adalah tanggung jawab operator, bukan klien. Klien tidak menjalankan ulang hiring; Zipang menarik dari pool shortlist aktif (diberi makan oleh funnel 5-gate yang sama) dan onboard replacement dalam 5 hari kerja. Lintas hidup program, 7 dari 20 agen full-time asli sudah di-replace; 20 saat ini adalah campuran operator asli dan replacement, dengan operator terlama tenure di 28 bulan.

Program di tahun kontrak ketiga. Akurasi sustained di 92,1% pada rolling average 12-minggu. Kohort 20 full-time stabil. Replacement berfungsi. Klien belum re-bid program sejak kontrak asli, dan pod paralel di region lain dikalibrasi terhadap gold set pod Indonesia sebagai baseline.

Angka 90% adalah lantai kontraktual; 92,1% adalah apa yang sebenarnya program deliver. Keduanya defensible. Kurva akurasi dari 78% di minggu 1 ke 92% di minggu 12 adalah cerita operasional tentang bagaimana funnel 5-gate, gold set beku, review tiga-lapis, dan kalibrasi mingguan kombinasi untuk mendarat di angka yang bisa klien gunakan untuk melatih model.