Ghidul utilizatorului pentru dezvoltarea mai multor camere Texas Instruments AM6x

Cuprins ascunde

1 Texas Instruments AM6x Dezvoltând mai multe camere

2 Specificații

3 Introducere

4 Activarea mai multor camere în software

5 Design de referință

6 Inferență de învățare profundă multicamerală

7 Analiza performanței

8 NOTIFICARE IMPORTANTĂ ȘI RENUNȚARE RESPONSABILITĂȚII

9 Întrebări frecvente

10 Documente/Resurse

10.1 Referințe

Texas Instruments AM6x Dezvoltând mai multe camere

Specificații

Nume produs: Familia de dispozitive AM6x
Tipuri de camere acceptate: AM62A (cu sau fără ISP încorporat), AM62P (cu ISP încorporat)
Date de ieșire cameră: AM62A (Raw/YUV/RGB), AM62P (YUV/RGB)
ISP HWA: AM62A (Da), AM62P (Nu)
Deep Learning HWA: AM62A (Da), AM62P (Nu)
Grafică 3D HWA: AM62A (Nu), AM62P (Da)

Introducere în aplicațiile cu camere multiple pe AM6x:

Camerele încorporate joacă un rol crucial în sistemele de vizualizare moderne.
Utilizarea mai multor camere într-un sistem îmbunătățește capacitățile și permite îndeplinirea sarcinilor care nu ar putea fi realizate cu o singură cameră.

Aplicații care utilizează mai multe camere:

Supraveghere de securitate: Îmbunătățește acoperirea supravegherii, urmărirea obiectelor și precizia recunoașterii.
Surround View: Permite vederea stereo pentru sarcini precum detectarea obstacolelor și manipularea obiectelor.
Sistem de înregistrare a cabinei și oglindă cu cameră: Oferă acoperire extinsă și elimină punctele moarte.
Imagistică medicală: Oferă precizie sporită în navigarea chirurgicală și endoscopie.
Dronele și imagistica aeriană: Capturați imagini de înaltă rezoluție din diferite unghiuri pentru diverse aplicații.

Conectarea mai multor camere CSI-2 la SoC:
Pentru a conecta mai multe camere CSI-2 la SoC, urmați instrucțiunile din manualul de utilizare. Asigurați alinierea și conectarea corectă a fiecărei camere la porturile desemnate de pe SoC.

Notă de aplicare
Dezvoltarea de aplicații cu camere multiple pe AM6x

Jianzhong Xu, Qutaiba Saleh

ABSTRACT
Acest raport descrie dezvoltarea de aplicații utilizând mai multe camere CSI-2 pe familia de dispozitive AM6x. Este prezentat un design de referință pentru detectarea obiectelor cu învățare profundă pe 4 camere de pe SoC-ul AM62A, împreună cu o analiză a performanței. Principiile generale ale designului se aplică și altor SoC-uri cu interfață CSI-2, cum ar fi AM62x și AM62P.

Introducere

Camerele încorporate joacă un rol important în sistemele de viziune moderne. Utilizarea mai multor camere într-un sistem extinde capacitățile acestor sisteme și permite funcționalități care nu sunt posibile cu o singură cameră. Mai jos sunt câteva exempleampmai multe aplicații care utilizează mai multe camere încorporate:

Supraveghere de securitate: Mai multe camere amplasate strategic oferă o acoperire completă de supraveghere. Acestea permit accesul panoramic views, reduc unghiurile moarte și sporesc precizia urmăririi și recunoașterii obiectelor, îmbunătățind măsurile generale de securitate.
Surround ViewMai multe camere sunt utilizate pentru a crea o configurație de vedere stereo, permițând informații tridimensionale și estimarea adâncimii. Acest lucru este crucial pentru sarcini precum detectarea obstacolelor în vehiculele autonome, manipularea precisă a obiectelor în robotică și realismul sporit al experiențelor de realitate augmentată.
Înregistrator în cabină și sistem de oglindă cu cameră: Un înregistrator în cabină cu mai multe camere poate oferi o acoperire mai mare folosind un singur procesor. În mod similar, un sistem de oglindă cu cameră cu două sau mai multe camere poate extinde câmpul de acțiune al șoferului. view și elimină unghiurile moarte de pe toate părțile mașinii.
Imagistică medicală: În imagistica medicală se pot utiliza mai multe camere pentru sarcini precum navigarea chirurgicală, oferind chirurgilor perspective multiple pentru o precizie sporită. În endoscopie, mai multe camere permit o examinare amănunțită a organelor interne.
Dronele și imagistica aeriană: Dronele sunt adesea echipate cu mai multe camere pentru a captura imagini sau videoclipuri de înaltă rezoluție din diferite unghiuri. Acest lucru este util în aplicații precum fotografia aeriană, monitorizarea agriculturii și topografia terenurilor.
Odată cu avansarea microprocesoarelor, mai multe camere pot fi integrate într-un singur System-on-Chip.
(SoC) pentru a oferi soluții compacte și eficiente. SoC-ul AM62Ax, cu procesare video/viziune de înaltă performanță și accelerare de deep learning, este un dispozitiv ideal pentru cazurile de utilizare menționate mai sus. Un alt dispozitiv AM6x, AM62P, este construit pentru aplicații de afișare 3D încorporate de înaltă performanță. Echipat cu accelerare grafică 3D, AM62P poate îmbina cu ușurință imagini de la mai multe camere și poate produce o imagine panoramică de înaltă rezoluție. viewCaracteristicile inovatoare ale SoC-ului AM62A/AM62P au fost prezentate în diverse publicații, cum ar fi [4], [5], [6] etc. Această notă de aplicație nu va repeta descrierile acestor caracteristici, ci se concentrează pe integrarea mai multor camere CSI-2 în aplicații de viziune încorporate pe AM62A/AM62P.
Tabelul 1-1 prezintă principalele diferențe dintre AM62A și AM62P în ceea ce privește procesarea imaginilor.

Tabelul 1-1. Diferențe între AM62A și AM62P în procesarea imaginilor

SoC	AM62A	AM62P
Tip de cameră acceptat	Cu sau fără un ISP încorporat	Cu ISP încorporat
Date de ieșire ale camerei	Raw/YUV/RGB	YUV/RGB
Furnizor de servicii de internet (HWA)	Da	Nu
HWA de învățare profundă	Da	Nu
Grafică 3D HWA	Nu	Da

Conectarea mai multor camere CSI-2 la SoC
Subsistemul camerei de pe AM6x SoC conține următoarele componente, așa cum se arată în Figura 2-1:

Receptor MIPI D-PHY: primește fluxuri video de la camere externe, suportând până la 1.5 Gbps pe bandă de date pentru 4 benzi.
Receptor CSI-2 (RX): primește fluxuri video de la receptorul D-PHY și fie trimite fluxurile direct către ISP, fie transferă datele în memoria DDR. Acest modul acceptă până la 16 canale virtuale.
SHIM: un wrapper DMA care permite trimiterea fluxurilor capturate în memorie prin DMA. Acest wrapper poate crea contexte DMA multiple, fiecare context corespunzând unui canal virtual al receptorului CSI-2.

Mai multe camere pot fi suportate pe AM6x prin utilizarea canalelor virtuale CSI-2 RX, chiar dacă există o singură interfață CSI-2 RX pe SoC. Este necesară o componentă externă de agregare CSI-2 pentru a combina fluxuri multiple de camere și a le trimite către un singur SoC. Pot fi utilizate două tipuri de soluții de agregare CSI-2, descrise în secțiunile următoare.

Agregator CSI-2 folosind SerDes
O modalitate de a combina fluxuri multiple de la camere este utilizarea unei soluții de serializare și deserializare (SerDes). Datele CSI-2 de la fiecare cameră sunt convertite de un serializator și transferate printr-un cablu. Deserializatorul primește toate datele serializate transferate de la cabluri (un cablu per cameră), convertește fluxurile înapoi în date CSI-2 și apoi trimite un flux CSI-2 intercalat către interfața unică CSI-2 RX de pe SoC. Fiecare flux de cameră este identificat printr-un canal virtual unic. Această soluție de agregare oferă avantajul suplimentar de a permite o conexiune la distanță lungă de până la 15 m de la camere la SoC.

Serializatoarele și deserializatoarele FPD-Link sau V3-Link (SerDes), suportate în SDK-ul AM6x Linux, sunt cele mai populare tehnologii pentru acest tip de soluție de agregare CSI-2. Atât deserializatoarele FPD-Link, cât și cele V3-Link au canale inverse care pot fi utilizate pentru a trimite semnale de sincronizare a cadrelor pentru a sincroniza toate camerele, așa cum se explică în [7].
Figura 2-2 prezintă un examputilizarea SerDes pentru a conecta mai multe camere la un singur SoC AM6x.

Un exampO parte din această soluție de agregare poate fi găsită în Kitul de soluții pentru camere Arducam V3Link. Acest kit are un hub de deserializare care agregă 4 fluxuri de camere CSI-2, precum și 4 perechi de serializatoare V3link și camere IMX219, inclusiv cabluri coaxiale FAKRA și cabluri FPC cu 22 de pini. Designul de referință discutat mai târziu este construit pe acest kit.

Agregator CSI-2 fără utilizarea SerDes
Acest tip de agregator poate interacționa direct cu mai multe camere MIPI CSI-2 și poate agrega datele de la toate camerele într-un singur flux de ieșire CSI-2.

Figura 2-3 prezintă un example unui astfel de sistem. Acest tip de soluție de agregare nu utilizează niciun serializator/deserializator, dar este limitat de distanța maximă de transfer de date CSI-2, care este de până la 30 cm. SDK-ul AM6x Linux nu acceptă acest tip de agregator CSI-2.

Activarea mai multor camere în software

Arhitectura software a subsistemului camerei
Figura 3-1 prezintă o diagramă bloc de nivel înalt a software-ului sistemului de captură al camerei în SDK-ul Linux AM62A/AM62P, corespunzătoare sistemului hardware din Figura 2-2.

Această arhitectură software permite SoC-ului să recepționeze fluxuri multiple de la camere folosind SerDes, așa cum se arată în Figura 2-2. SerDes-ul FPD-Link/V3-Link atribuie fiecărei camere o adresă I2C unică și un canal virtual. Ar trebui creată o suprapunere unică de tip arbore de dispozitive cu adresa I2C unică pentru fiecare cameră. Driverul CSI-2 RX recunoaște fiecare cameră folosind numărul unic al canalului virtual și creează un context DMA per flux de cameră. Un nod video este creat pentru fiecare context DMA. Datele de la fiecare cameră sunt apoi recepționate și stocate în memorie folosind DMA în mod corespunzător. Aplicațiile din spațiul utilizator utilizează nodurile video corespunzătoare fiecărei camere pentru a accesa datele camerei. Ex.ampLecțiile de utilizare a acestei arhitecturi software sunt prezentate în Capitolul 4 – Proiectare de referință.
Orice driver de senzor specific, compatibil cu framework-ul V4L2, poate fi integrat și utilizat în această arhitectură. Consultați [8] pentru informații despre cum se integrează un nou driver de senzor în SDK-ul Linux.

Arhitectura software a canalului de imagini

SDK-ul AM6x Linux oferă framework-ul GStreamer (GST), care poate fi utilizat în spațiul ser pentru a integra componentele de procesare a imaginilor pentru diverse aplicații. Acceleratoarele hardware (HWA) de pe SoC, cum ar fi Acceleratorul de preprocesare a imaginilor (VPAC) sau ISP-ul, encoderul/decoderul video și motorul de calcul pentru învățare profundă, sunt accesate prin GST. pluginsVPAC (ISP) în sine are mai multe blocuri, inclusiv Vision Imaging Sub-System (VISS), Lens Distortion Correction (LDC) și Multiscalar (MSC), fiecare corespunzând unui plugin GST.
Figura 3-2 prezintă diagrama bloc a unei conducte tipice de imagine de la cameră la codare sau procesare profundă.
aplicații de învățare pe AM62A. Pentru mai multe detalii despre fluxul de date end-to-end, consultați documentația SDK-ului EdgeAI.

Pentru AM62P, canalul de imagine este mai simplu deoarece nu există ISP pe AM62P.

Cu un nod video creat pentru fiecare dintre camere, conducta de imagini bazată pe GStreamer permite procesarea simultană a mai multor intrări de cameră (conectate prin aceeași interfață CSI-2 RX). Un design de referință care utilizează GStreamer pentru aplicații multi-cameră este prezentat în capitolul următor.

Design de referință

Acest capitol prezintă un design de referință pentru rularea aplicațiilor cu camere multiple pe AM62A EVM, utilizând kitul de soluții pentru camere Arducam V3Link pentru a conecta 4 camere CSI-2 la AM62A și rularea detectării obiectelor pentru toate cele 4 camere.

Camere foto acceptate
Kitul Arducam V3Link funcționează atât cu camere bazate pe FPD-Link/V3-Link, cât și cu camere CSI-2 compatibile cu Raspberry Pi. Următoarele camere au fost testate:

D3 Engineering D3RCM-IMX390-953
Leopard Imaging LI-OV2312-FPDLINKIII-110H
Camere IMX219 din kitul de soluții pentru camere Arducam V3Link

Configurarea a patru camere IMX219
Urmați instrucțiunile furnizate în Ghidul de pornire rapidă al kitului de pornire AM62A EVM pentru a configura SK-AM62A-LP EVM (AM62A SK) și Ghidul de pornire rapidă al soluției de cameră ArduCam V3Link pentru a conecta camerele la AM62A SK prin kitul V3Link. Asigurați-vă că pinii cablurilor flexibile, ai camerelor, ai plăcii V3Link și ai AM62A SK sunt aliniați corect.

Figura 4-1 prezintă configurația utilizată pentru proiectarea de referință din acest raport. Principalele componente ale configurației includ:

1X Placă EVM SK-AM62A-LP
1X placă adaptor Arducam V3Link d-channel
Cablu FPC care conectează Arducam V3Link la SK-AM62A
4X adaptoare de cameră V3Link (serializatoare)
4 cabluri coaxiale RF pentru conectarea serializatoarelor V3Link la kitul V3Link d-ch
4X Camere IMX219
4X cabluri CSI-2 cu 22 de pini pentru conectarea camerelor la serializatoare
Cabluri: cablu HDMI, USB-C pentru alimentarea SK-AM62A-LP și sursă de alimentare de 12V pentru kitul V3Link d-ch
Alte componente care nu sunt prezentate în Figura 4-1: card micro-SD, cablu micro-USB pentru accesarea SK-AM62A-LP și Ethernet pentru streaming

Configurarea camerelor și a interfeței CSI-2 RX
Configurați software-ul conform instrucțiunilor furnizate în Ghidul de pornire rapidă Arducam V3Link. După rularea scriptului de configurare a camerei, fișierul setup-imx219.sh, formatul camerei, formatul interfeței CSI-2 RX și rutele de la fiecare cameră la nodul video corespunzător vor fi configurate corect. Sunt create patru noduri video pentru cele patru camere IMX219. Comanda „v4l2-ctl –list-devices” afișează toate dispozitivele video V4L2, așa cum se arată mai jos:

Există 6 noduri video și 1 nod media sub tiscsi2rx. Fiecare nod video corespunde unui context DMA alocat de driverul CSI2 RX. Din cele 6 noduri video, 4 sunt utilizate pentru cele 4 camere IMX219, așa cum se arată în topologia conductei media de mai jos:

După cum se arată mai sus, entitatea media 30102000.ticsi2rx are 6 surse, dar sunt utilizate doar primele 4, fiecare pentru câte un IMX219. Topologia conductei media poate fi ilustrată și grafic. Rulați următoarea comandă pentru a genera un punct file:

Apoi executați comanda de mai jos pe un PC gazdă Linux pentru a genera un fișier PNG. file:

Figura 4-2 este o imagine generată folosind comenzile date mai sus. Componentele din arhitectura software din Figura 3-1 pot fi găsite în acest grafic.

Streaming de la patru camere
Cu configurarea corectă atât a componentelor hardware, cât și a celor software, aplicațiile cu mai multe camere pot rula din spațiul utilizatorului. Pentru AM62A, ISP-ul trebuie reglat pentru a produce o calitate bună a imaginii. Consultați Ghidul de reglare ISP pentru AM6xA pentru a afla cum se efectuează reglarea ISP. Următoarele secțiuni prezintă exemple...ampfișiere de transmitere a datelor camerei către un afișaj, transmiterea datelor camerei către o rețea și stocarea datelor camerei pe files.

Transmiterea datelor de la cameră către afișaj
O aplicație de bază a acestui sistem multi-cameră este de a transmite în flux videoclipurile de la toate camerele către un afișaj conectat la același SoC. Următorul este un exemplu de conductă GStreamerample de a transmite în flux patru IMX219 către un ecran (numerele nodurilor video și numerele v4l-subdev din pipeline se vor schimba probabil de la repornire la repornire).

Transmiterea datelor de la cameră prin Ethernet
În loc să fie transmise în flux către un afișaj conectat la același SoC, datele camerei pot fi transmise în flux și prin Ethernet. Partea receptorului poate fi fie un alt procesor AM62A/AM62P, fie un PC gazdă. Următorul este un exemplu.ampexemplu de transmitere a datelor camerei prin Ethernet (folosind două camere pentru simplitate) (rețineți pluginul de codificare utilizat în canal):

Următorul este un exampmodul de primire a datelor de la cameră și de transmitere în flux către un afișaj pe un alt procesor AM62A/AM62P:

Stocarea datelor camerei pe Files
În loc să fie transmise în flux către un afișaj sau printr-o rețea, datele camerei pot fi stocate local files. Canalul de mai jos stochează datele fiecărei camere într-un file (folosind două camere ca exemplu)amp(le pentru simplitate).

Inferență de învățare profundă multicamerală

AM62A este echipat cu un accelerator de deep learning (C7x-MMA) cu până la două TOPS, capabile să ruleze diverse tipuri de modele de deep learning pentru clasificare, detectarea obiectelor, segmentare semantică și multe altele. Această secțiune arată cum AM62A poate rula simultan patru modele de deep learning pe patru fluxuri diferite de camere.

Selectarea modelului
EdgeAI-ModelZoo de la TI oferă sute de modele de ultimă generație, care sunt convertite/exportate din framework-urile lor de antrenament originale într-un format ușor de integrat, astfel încât să poată fi descărcate către acceleratorul de deep learning C7x-MMA. Analizatorul de modele Edge AI Studio bazat pe cloud oferă un instrument ușor de utilizat de „selecție a modelelor”. Acesta este actualizat dinamic pentru a include toate modelele acceptate în TI EdgeAI-ModelZoo. Instrumentul nu necesită experiență anterioară și oferă o interfață ușor de utilizat pentru introducerea caracteristicilor necesare în modelul dorit.

Modelul TFL-OD-2000-ssd-mobV1-coco-mlperf a fost selectat pentru acest experiment de deep learning cu mai multe camere. Acest model de detecție multi-obiect este dezvoltat în framework-ul TensorFlow cu o rezoluție de intrare de 300×300. Tabelul 4-1 prezintă caracteristicile importante ale acestui model atunci când este antrenat pe setul de date cCOCO cu aproximativ 80 de clase diferite.

Tabelul 4-1. Caracteristici principale ale modelului TFL-OD-2000-ssd-mobV1-coco-mlperf.

Model	Sarcină	Rezoluţie	FPS	mAP 50% Precizie pe COCO	Latență/cadru (ms)	DDR BW Utilizare (MB/cadru)
TFL-OD-2000-ssd- mobV1-coco-mlperf	Detectarea mai multor obiecte	300×300	~152	15.9	6.5	18.839

Configurarea conductei
Figura 4-3 prezintă conducta GStreamer de învățare profundă cu 4 camere. TI oferă o suită de GStreamer plugins care permit descărcarea unei părți din procesarea media și inferența de învățare profundă către acceleratoarele hardware. Unele exempleampmai multe dintre acestea plugins includ tiovxisp, tiovxmultiscaler, tiovxmosaic și tidlinferer. Canalul din Figura 4-3 include toate elementele necesare plugins pentru o conductă GStreamer multipath pentru intrări cu 4 camere, fiecare cu preprocesare media, inferență de deep learning și postprocesare. Duplicatul plugins pentru fiecare dintre traiectoriile camerei sunt stivuite în grafic pentru o demonstrație mai ușoară.
Resursele hardware disponibile sunt distribuite uniform între cele patru căi de cameră. De exemplu, AM62A conține două multiscalere de imagine: MSC0 și MSC1. Conducta dedică explicit MSC0 procesării căilor camerei 1 și camerei 2, în timp ce MSC1 este dedicat camerei 3 și camerei 4.

Rezultatul celor patru canale de date ale camerelor este redus și concatenat folosind pluginul tiovxmosaic. Rezultatul este afișat pe un singur ecran. Figura 4-4 prezintă rezultatul celor patru camere cu un model de deep learning care rulează detectarea obiectelor. Fiecare canal (cameră) rulează la 30 FPS și un total de 120 FPS.

Urmează scriptul complet al canalului de lucru pentru cazul de utilizare a învățării profunde multicamera, prezentat în Figura 4-3.

Analiza performanței

Configurația cu patru camere folosind placa V3Link și AM62A SK a fost testată în diverse scenarii de aplicație, inclusiv afișare directă pe un ecran, streaming prin Ethernet (patru canale UDP), înregistrare pe 4 canale separate files, și cu inferență de învățare profundă. În fiecare experiment, am monitorizat rata de cadre și utilizarea nucleelor CPU pentru a explora capacitățile întregului sistem.

Așa cum s-a arătat anterior în Figura 4-4, conducta de deep learning folosește pluginul tiperfoverlay GStreamer pentru a afișa încărcările nucleelor CPU sub forma unui grafic cu bare în partea de jos a ecranului. În mod implicit, graficul este actualizat la fiecare două secunde pentru a afișa încărcările ca procent de utilizare.tage. Pe lângă pluginul tiperfoverlay GStreamer, instrumentul perf_stats este o a doua opțiune pentru a afișa performanța de bază direct pe terminal, cu o opțiune de salvare într-un fileAcest instrument este mai precis în comparație cu tTiperfoverlay, deoarece acesta din urmă adaugă o sarcină suplimentară nucleelor ARMm și DDR pentru a desena graficul și a-l suprapune pe ecran. Instrumentul perf_stats este utilizat în principal pentru a colecta rezultatele utilizării hardware-ului în toate cazurile de testare prezentate în acest document. Printre nucleele de procesare și acceleratoarele importante studiate în aceste teste se numără procesoarele principale (patru nuclee A53 Arm la 1.25 GHz), acceleratorul de deep learning (C7x-MMA la 850 MHz), VPAC (ISP) cu VISS și multiscalere (MSC0 și MSC1) și operațiuni DDR.

Tabelul 5-1 prezintă performanța și utilizarea resurselor atunci când se utilizează AM62A cu patru camere pentru trei cazuri de utilizare, inclusiv transmiterea în flux a patru camere către un afișaj, transmiterea în flux prin Ethernet și înregistrarea pe patru surse separate. fileDouă teste sunt implementate în fiecare caz de utilizare: doar cu camera și cu inferență de deep learning. În plus, primul rând din Tabelul 5-1 prezintă utilizările hardware atunci când doar sistemul de operare rula pe AM62A, fără aplicații utilizator. Aceasta este utilizată ca bază pentru comparație la evaluarea utilizărilor hardware ale celorlalte cazuri de testare. După cum se arată în tabel, cele patru camere cu deep learning și afișare pe ecran au funcționat la 30 FPS fiecare, cu un total de 120 FPS pentru cele patru camere. Această rată ridicată a cadrelor este atinsă cu doar 86% din capacitatea maximă a acceleratorului de deep learning (C7x-MMA). În plus, este important de menționat că acceleratorul de deep learning a fost tactat la 850 MHz în loc de 1000 MHz în aceste experimente, ceea ce reprezintă aproximativ doar 85% din performanța sa maximă.

Tabelul 5-1. Performanța (FPS) și utilizarea resurselor AM62A atunci când este utilizat cu 4 camere IMX219 pentru afișare pe ecran, flux Ethernet, înregistrare pe Files și efectuarea inferenței prin învățare profundă

Aplicație n	Conductă (operare) )	Ieșire	FPS conducte medii	FPS total	MPU-uri A53s @ 1.25 GHz [%]	MCU R5 [%]	DLA (C7x-MMA) @ 850 MHz [%]	VISS [%]	MSC0 [%]	MSC1 [%]	DDR Rd [MB/s]	DDR Wr [MB/s]	DDR Total [MB/s]
Fără aplicație	Nivel de referință Fără operațiune	NA	NA	NA	1.87	1	0	0	0	0	560	19	579
Camera foto numai	Flux pe ecran	Ecran	30	120	12	12	0	70	61	60	1015	757	1782
	Transmitere prin Ethernet	PDU: 4 porturi 1920×1080	30	120	23	6	0	70	0	0	2071	1390	3461
	Înregistra la files	4 file1920×1080	30	120	25	3	0	70	0	0	2100	1403	3503
Cam cu învățare profundă	Învățare profundă: Detecția obiectelor MobV1-coco	Ecran	30	120	38	25	86	71	85	82	2926	1676	4602
	Învățare profundă: Detecția obiectelor MobV1-coco și Stream over Ethernet	PDU: 4 porturi 1920×1080	28	112	84	20	99	66	65	72	4157	2563	6720
	Învățare profundă: Detecția obiectelor MobV1- coco și înregistrarea la files	4 file1920×1080	28	112	87	22	98	75	82	61	2024	2458	6482

Rezumat
Acest raport de aplicație descrie modul de implementare a aplicațiilor multi-cameră pe familia de dispozitive AM6x. Raportul prezintă un design de referință bazat pe kitul de soluții pentru camere V3Link de la Arducam și mașina de lucru electronică AM62A SK EVM, cu mai multe aplicații de cameră care utilizează patru camere IMX219, cum ar fi streamingul și detectarea obiectelor. Utilizatorii sunt încurajați să achiziționeze kitul de soluții pentru camere V3Link de la Arducam și să reproducă aceste exemple.ampRaportul oferă, de asemenea, o analiză detaliată a performanței AM62A în timp ce utilizează patru camere în diferite configurații, inclusiv afișarea pe un ecran, streaming prin Ethernet și înregistrarea pe fileDe asemenea, demonstrează capacitatea AM62A de a efectua inferențe de învățare profundă pe patru fluxuri separate de camere în paralel. Dacă există întrebări despre rularea acestor exempleamptrimiteți o solicitare pe forumul TI E2E.

Referințe

Ghid de pornire rapidă EVM pentru kitul de pornire AM62A
Ghid de pornire rapidă pentru soluția de cameră ArduCam V3Link
Documentația SDK Edge AI pentru AM62A
Camere inteligente Edge AI care utilizează procesorul AM62A eficient energetic
Sisteme de oglinzi cu cameră pe AM62A
Sisteme de monitorizare a șoferului și a ocupării vehiculului pe AM62A
Aplicație de cameră cu patru canale pentru surround View și sisteme de camere CMS
Academia AM62Ax Linux despre activarea senzorului CIS-2
Edge AI ModelZoo
Edge AI Studio
Instrumentul Perf_stats

Piese TI la care se face referire în această notă de aplicare:

NOTIFICARE IMPORTANTĂ ȘI RENUNȚARE RESPONSABILITĂȚII

TI OFERĂ DATE TEHNICE ȘI DE FIABILITATE (INCLUS FIȘE TEHNICE), RESURSE DE PROIECTARE (INCLUS DESIGNE DE REFERINȚĂ), APLICAȚII SAU ALTE SFATURI DE PROIECTARE, WEB INSTRUMENTE, INFORMAȚII DE SIGURANȚĂ ȘI ALTE RESURSE „CA AȘA ESTE” ȘI CU TOATE DEFECTELE, ȘI RENUNȚĂ TOATE GARANȚII, EXPRESE ȘI IMPLICITE, INCLUSIV, FĂRĂ LIMITARE, ORICE GARANȚII IMPLICITE DE VANTABILITATE, ADECVENȚĂ PENTRU UN ANUMIT SCOP DE PROPRIETATE SAU PROPRIETATE NEPROPRIETATE. .

Aceste resurse sunt destinate dezvoltatorilor calificați care proiectează cu produse TI. Sunteți singurul responsabil pentru

selectarea produselor TI adecvate pentru aplicația dvs.
proiectarea, validarea și testarea aplicației dvs. și
asigurarea că aplicația dumneavoastră respectă standardele aplicabile și orice alte cerințe de siguranță, securitate, reglementări sau de altă natură.

Aceste resurse pot fi modificate fără notificare prealabilă. TI vă permite să utilizați aceste resurse numai pentru dezvoltarea unei aplicații care utilizează produsele TI descrise în resursă. Reproducerea și afișarea acestor resurse în alt mod sunt interzise. Nu se acordă nicio licență pentru niciun alt drept de proprietate intelectuală al TI sau pentru niciun drept de proprietate intelectuală al unei terțe părți. TI își declină responsabilitatea pentru orice pretenții, daune, costuri, pierderi și răspunderi care decurg din utilizarea acestor resurse și veți despăgubi pe deplin TI și reprezentanții acesteia pentru acestea.

Produsele TI sunt furnizate sub rezerva Termenilor de vânzare ai TI sau a altor termeni aplicabili, disponibile fie pe ti.com sau furnizate împreună cu astfel de produse TI. Furnizarea de către TI a acestor resurse nu extinde sau modifică în alt mod garanțiile aplicabile sau declinările de garanție ale TI pentru produsele TI.

TI se opune și respinge orice termeni suplimentari sau diferiți pe care i-ați propus.

NOTIFICARE IMPORTANTĂ

Adresă poștală: Texas Instruments, Post Office Box 655303, Dallas, Texas 75265

Întrebări frecvente

Î: Pot folosi orice tip de cameră cu familia de dispozitive AM6x?

Familia AM6x acceptă diferite tipuri de camere, inclusiv cele cu sau fără ISP încorporat. Consultați specificațiile pentru mai multe detalii despre tipurile de camere acceptate.

Care sunt principalele diferențe dintre AM62A și AM62P în ceea ce privește procesarea imaginilor?

Variațiile cheie includ tipurile de camere acceptate, datele de ieșire ale camerei, prezența HWA ISP, HWA Deep Learning și HWA grafică 3D. Consultați secțiunea specificațiilor pentru o comparație detaliată.

Documente/Resurse

Texas Instruments AM6x dezvoltă mai multe camere [pdfGhid de utilizare
AM62A, AM62P, AM6x Dezvoltare mai multe camere, AM6x, Dezvoltare mai multe camere, Camere multiple, Cameră

Referințe

Manual de utilizare