Gönderdiğimiz her görü projesinin şekli
Otomotiv, ambalaj, beyaz eşya ve metal alanlarında onlarca görü projesinden sonra altı aşamalı bir rollout'a yakınsadık. Bir Gantt şeması değil, Agile tiyatrosu da değil — daha önce yaşadığımız başarısızlık modlarından kaçınmak için soruların gerçekten yanıtlanması gereken sıradır.Aşama 1 — Fizibilite (1-2 hafta)
Hedef: fiziği kanıtla. Modeli unut.- Gerçek hatta, gerçekten dağıtmayı planladığınız kamerayla 200-500 görüntü çekin.
- Bir insanın etiketlemesini sağlayın. Evet, elle.
- Onlara bakın. Kusurlar görünüyor mu? Siz göremiyorsanız hiçbir model göremez.
Aşama 2 — Offline prototip (2-4 hafta)
Hedef: offline veri setinde hedef doğruluğa ulaş. Veri setini düzgün inşa edin:- Train / val / test ayrımını rastgele karıştırmayla değil üretim batch'i ile yapın. Rastgele karıştırma ayrımlar arası bilgi sızdırır ve test skorlarını anlamsız yapar.
- En az bir batch farklı vardiya / hafta / hattan.
- Etiketleri müşterinin QA ekibi incelesin. Kendinize güvenmeyin.
Aşama 3 — Bench istasyonu (2-3 hafta)
Hedef: hattan uzakta, temsili hücrede gerçek numuneler üzerinde çalıştır. Aydınlatma ve tetikleme burada finalize olur. Operatörün gündüz vardiyasında kapıyı açık bıraktığını ve ortam ışığını 200 lüks yükselttiğini burada öğrenirsiniz. (Gerçek hikâye.)Aşama 4 — Gölge mod (4-8 hafta)
Hedef: canlı hatta sonuçsuz çalıştır. İstasyon her parçayı görür, karar verir, loglar — ama karar hiçbir şeyi tetiklemez. Operatörler manuel incelemeye devam eder.Herkesin atlamak istediği aşama bu. Atlamayın. Aşama 3'ten doğrudan Aşama 5'e geçen her proje üç ay içinde Aşama 4'e geri döndü; buradan başlamış olsa daha az güvenle.
Aşama 5 — Kapsamlı üretim, operatör override (4 hafta)
Hedef: istasyon parçaları reddeder ama operatörler tek tuşla her kararı geçersiz kılabilir. Her override loglanır. Override oranı güven metriğidir — %5'in üzerindeyse hazır değilsiniz.Aşama 6 — Tam otomasyon
Hedef: override butonu kaldırılır veya offline inceleme için işaretleyen ama kararı değiştirmeyen "endişe bildir" butonuyla değiştirilir. Bu aşamaya geldiğinizde sistem, parçada son söz olma hakkını kazanmış olur.Bittiğimizi anlamak için kullandığımız sayılar
- Temsili bir üretim haftasında yanlış reddetme oranı < %0.5.
- Etiketli holdout'ta yanlış kabul oranı < %0.05.
- Kapsamlı üretimde operatör override oranı < %1.
- Herhangi bir kayan 7 günlük pencerede kamera/aydınlatma sağlık skoru > %95.
Asla tekrarlamayacağımız bir desen
İki sezonda dört farklı üretim batch'i görmemiş bir modelle Aşama 5'e geçmek. Bir aylık veriyle eğitilmiş görü sistemleri öngöremeyeceğiniz şekillerde sürüklenir ve düzeltmeler üretimde, pahalıya gerçekleşir.Rollout'unuz nasıl görünüyor? Bunu dört aşamaya başarıyla indiren olup olmadığını merak ediyoruz.
The shape of every vision project we've shipped
After a few dozen vision projects across automotive, packaging, white goods, and metal, we've converged on a six-stage rollout. It's not a Gantt chart and it's not Agile theatre — it's the order in which questions actually need to be answered to avoid the failure modes we've already lived through.Stage 1 — Feasibility (1-2 weeks)
Goal: prove the physics. Forget the model.- Capture 200-500 images on the actual line, with the camera you actually plan to deploy.
- Have a human label them. Yes, by hand.
- Look at them. Are the defects visible? If you can't see them, no model can.
Stage 2 — Offline prototype (2-4 weeks)
Goal: hit target accuracy on an offline dataset. Build the dataset properly:- Train / val / test split by production batch, not random shuffle. Random shuffle leaks information across splits and makes the test scores meaningless.
- At least one batch from a different shift / week / line.
- Have the customer's QA team review the labels. Don't trust your own.
Stage 3 — Bench station (2-3 weeks)
Goal: run on real samples, off the line, in a representative cell. This is where lighting and triggering get finalised. This is where you find out the operator was leaving the door open during the day shift, raising ambient light by 200 lux. (True story.)Stage 4 — Shadow mode (4-8 weeks)
Goal: run on the live line with no consequences. The station sees every part, makes a call, logs it — but the call doesn't actuate anything. Operators continue inspecting manually.This is the stage everyone wants to skip. Don't. Every project we've seen go directly from Stage 3 to Stage 5 has come back to Stage 4 within three months, with worse trust than if it had started here.
Stage 5 — Scoped production with operator override (4 weeks)
Goal: the station rejects parts, but operators can override every decision with a single button press. Every override is logged. The override rate is the trust metric — if it's above 5 %, you're not ready.Stage 6 — Full automation
Goal: the override button gets removed, or replaced with a "raise concern" button that flags for offline review but doesn't change the disposition. By the time you reach this stage, the system has earned the right to be the final word on the part.The numbers we use to know we're done
- False reject rate < 0.5 % over a representative production week.
- False accept rate < 0.05 % on a labelled holdout.
- Operator override rate < 1 % in scoped production.
- Camera/lighting health score > 95 % in any rolling 7-day window.
One pattern we'd never repeat
Going to Stage 5 with a model that hadn't seen at least four different production batches across two seasons. Vision systems trained on one month of data drift in ways you don't predict, and the corrections happen in production, expensively.What does your rollout look like? We're curious whether anyone has trimmed this down to four stages successfully.
