Kimsenin uyarmadığı şey
Edge AI tutorial'ları "görüntü yükle, model çalıştır, kutu çiz" gösterir. Üretim edge AI'i "on dört dakikada bir frame düşüren bir kameradan RTSP stream'i decode et, tetik frame'ini atlamadan değişken framerate'te inference çalıştır, sonuçları OPC-UA üzerinden PLC'ye gönder, reddedilen frame'leri diske yaz ve telemetry logla — yeniden başlatma olmadan 18 ay". Pipeline tooling bunun çalışıp çalışmayacağını belirler.NVIDIA DeepStream
Ne: donanım-hızlandırılmış decode (NVDEC), inference (TensorRT'li nvinfer) ve analitik için NVIDIA'ya özel plugin'lerle GStreamer tabanlı SDK.Güçlü: her şey donanım-hızlandırılmış. NVDEC bir Jetson NX'te CPU'ya dokunmadan 8+ eşzamanlı 1080p H.264 stream işler. nvinfer TensorRT ile entegre. Multi-stream batch'leme yerleşik.
Zayıf: NVIDIA'ya sıkı eşleşme. GStreamer'in debug hikâyesi pürüzlü. Elementler arası özel mantık GStreamer plugin'leri yazmak gerektirir.
Şu durumlarda: Jetson + multi-kamera + standart CV pipeline.
Çıplak GStreamer
Ne: altta yatan framework. Hedef Jetson değilse veya pipeline graph üzerinde ince granül kontrol gerekiyorsa DeepStream olmadan çalıştırın.Güçlü: donanımlar arası taşınabilir. Mükemmel codec / muxing / streaming kapsamı. ONNX Runtime + GStreamer çalışan bir Hailo / RK3588 / Intel pipeline'ı.
Zayıf: daha fazla yapıştırıcı yazarsınız. Python binding'leri var ama zahmetli; ciddi iş C/C++'ta.
Şu durumlarda: NVIDIA olmayan edge hedef, multi-kamera, RTSP / dosya / GigE Vision kaynaklarının karışımı.
FFmpeg + özel Python
Ne: FFmpeg'i PyAV veya subprocess piping ile decoder olarak kullanın, geri kalan her şeyi Python'da yapın.Güçlü: okuması en kolay, genişletmesi en kolay, debug etmesi en kolay. Tek kamera, tek model deploylar için ezici şekilde en pragmatik seçenek.
Zayıf: zero-copy değil. 4 stream 1080p'de CPU tarafı decode x86'da yapılabilir ama ARM'da sıkı. Aynı donanım için DeepStream / GStreamer'dan daha yüksek gecikme.
Şu durumlarda: tek kamera, tek model, prototip-üretim zaman çizelgesi tepe throughput'tan önemli.
Karşılaşacağınız RTSP tuzakları
Her kamera vendor'u RTSP'yi biraz farklı uygular. Planlayın:- Reconnect'ler. Kameralar düşer. Pipeline şeffafça yeniden bağlanmalı. Hem DeepStream'in nvurisrcbin'i hem GStreamer'in rtspsrc'si bunun için yapılandırılabilir — varsayılan değil.
- Codec tuhaflıkları. Bir vendor'dan H.264 başka vendor'dan H.264 ile aynı değil. Bazıları do-timestamp=true gerektirir, bazıları onunla kırılır.
- Buffer vs gecikme. Varsayılan RTSP buffer'ları video oynatma için ayarlanmıştır (pürüzsüz, gecikmeli). Muayene tersini ister. latency=0 ayarlayın.
- Saat kayması. Kameraların sıkça yanlış RTC'si var. Frame'leri PLC timestamp'leriyle ilişkilendiriyorsanız her yerde NTP senkronize edin veya zaman değil sequence number ile korelasyonu kabul edin.
Gönderdiğimiz desen
Tek kamera, edge inference, basit pipeline → FFmpeg + Python.Multi-kamera veya uçtan uca > 30 fps → Jetson'da DeepStream, Hailo'da GStreamer + nvinfer-eşdeğeri.
Uzak inference sunucusuna streaming yapan her şey → video pipeline değil, ağ problemi. Öyle çözün.
Son bir şey
Frame başına inference gecikmesini metrik endpoint'e loglayın, sadece dosyaya değil. 14 gün sonra sessizce başarısız olan pipeline, fark etmediğiniz frame'leri yiyor olandır. Prometheus endpoint ve Grafana dashboard 15 dakikalık iştir ve bir projeyi kurtarır.Pipeline'ınız nedir? Edge'de özel Rust pipeline çalıştıran var mı?
The thing nobody warns you about
Edge AI tutorials show "load image, run model, draw box". Production edge AI is "decode an RTSP stream from a camera that drops frames every fourteen minutes, run inference at variable framerate without skipping the trigger frame, push results to a PLC over OPC-UA, write rejected frames to disk, and log telemetry — for 18 months without a restart". The pipeline tooling decides whether that works.NVIDIA DeepStream
What it is: a GStreamer-based SDK with NVIDIA-specific plugins for hardware-accelerated decode (NVDEC), inference (nvinfer with TensorRT), and analytics.Strengths: hardware-accelerated everything. NVDEC handles 8+ concurrent 1080p H.264 streams on a Jetson NX without touching the CPU. nvinfer integrates with TensorRT. Multi-stream batching is built-in.
Weaknesses: tight coupling to NVIDIA. GStreamer's debug story is rough. Custom logic between elements requires writing GStreamer plugins.
Ship when: Jetson + multi-camera + standard CV pipeline.
Bare GStreamer
What it is: the underlying framework. Run it without DeepStream when the target isn't Jetson, or when you need fine-grained control.Strengths: portable across hardware. Excellent codec / muxing / streaming coverage. ONNX Runtime + GStreamer is a workable Hailo / RK3588 / Intel pipeline.
Weaknesses: you write more glue. Python bindings exist but are awkward; serious work is in C/C++.
Ship when: non-NVIDIA edge target, multi-camera, RTSP / file / GigE Vision sources mixed.
FFmpeg + custom Python
What it is: use FFmpeg as decoder via PyAV or subprocess piping, do everything else in Python.Strengths: easiest to read, easiest to extend, easiest to debug. For single-camera, single-model deployments, this is overwhelmingly the most pragmatic option.
Weaknesses: not zero-copy. CPU-side decode at 4 streams 1080p is doable on x86 but tight on ARM. Latency is higher than DeepStream / GStreamer for the same hardware.
Ship when: single camera, single model, prototype-to-production timeline matters more than peak throughput.
RTSP gotchas you will hit
Every camera vendor implements RTSP slightly differently. Plan for:- Reconnects. Cameras drop. The pipeline must reconnect transparently.
- Codec quirks. H.264 from one vendor is not the same as from another. Some need do-timestamp=true.
- Buffering vs latency. Default RTSP buffers are tuned for video playback. Inspection wants the opposite. Set latency=0.
- Clock skew. Cameras often have wrong RTC. Sync NTP everywhere or correlate by sequence number, not time.
The pattern we ship
Single camera, edge inference, simple pipeline → FFmpeg + Python.Multi-camera or anything > 30 fps end-to-end → DeepStream on Jetson, GStreamer + nvinfer-equivalent on Hailo.
Anything streaming to a remote inference server → not a video pipeline, it's a network problem.
One last thing
Always log per-frame inference latency to a metrics endpoint. The pipeline that fails silently after 14 days is the one that's eating frames you didn't notice. A Prometheus endpoint and a Grafana dashboard is fifteen minutes of work and saves a project.What's your pipeline?
