Permiteți-mi să pictez imaginea. Să spunem că vrei ca un umanoid să gătească o cină delicioasă în timp ce stai pe canapea și te uiți la Netflix. Cum ar funcționa acest lucru la nivel tehnic, deoarece Umanoidul are nevoie de mai multe creiere pentru a-ți pregăti cina? Inteligența robotului nu este monolitică, ci o echipă de module AI care combină deliberarea lentă cu reflexele rapide (design System 2 + System 1). Modelul său viziune-limbaj-acțiune (VLA) împarte cogniția într-un modul de raționament și o politică de control reactiv. Deoarece robotul rulează pe o arhitectură cognitivă multi-creier, ar pune în funcțiune un operator "bucătar" dedicat pentru a se ocupa de cererea dvs., cum ar fi supravegherea bucătăriei cu camerele sale, căutarea unei rețete, apoi direcționarea membrelor sale pentru a începe să taie legume. Aceste creiere pot fi împărțite în următorii operatori. Creierul #1: Pentru a găti o cină delicioasă, aveți nevoie de un planificator executiv. Interpretează comanda ta ("pregătiți cina") pentru a determina scopul (faceți paste). Folosind înțelegerea limbajului natural, decide ce sarcini secundare sunt necesare (găsirea ingredientelor, gătirea pastelor, aranjarea mesei etc.) și ce alte creiere ar trebui să se ocupe de fiecare. Acesta coordonează sistemul multi-agent: activarea modulelor specializate pentru vedere, cunoaștere și mișcare. Acest creier deliberativ (sistemul 2) ia decizii de nivel superior, stabilește abordarea și alocă responsabilități înainte de începerea oricăror mișcări fizice. Creierul #2: Acum că aveți rețeta, veți avea nevoie de niște ochi de robot și conștientizare spațială. Procesează fluxurile camerei pentru a identifica ingredientele, instrumentele și locațiile lor în bucătărie. Folosind viziunea avansată pe computer, vede tăietoarea, legumele din frigider, cuțitul de pe blat etc. Construiește o hartă 3D a mediului și urmărește obiectele relevante (cum ar fi unde sunt sarea sau tigăile). Acest creier perceptual (Sistemul 2) funcționează mai lent decât reflexele, dar oferă un context precis pentru planificare. Prin recunoașterea tuturor pieselor implicate, educă robotul în lumea reală. Creierul #3: Acest creier acționează ca bază de cunoștințe și memorie a robotului (Sistemul 2). Preia și analizează informațiile necesare sarcinii, în acest caz, o rețetă adecvată și instrucțiuni de gătit. Ar putea interoga o carte de bucate online sau baza sa de date internă pentru o rețetă de paste, apoi să interpreteze pașii (fierbe apa, tocați usturoiul etc.). Amintește de fapte despre bucătărie (cum ar fi locul în care sunt păstrate condimentele) și experiențele culinare din trecut. În esență, furnizarea de înțelegere semantică și cunoaștere a lumii. Apoi calculează instrucțiuni abstracte (caramelizați ceapa) în parametri concreți (temperatură, timp) pe care robotul îi poate executa, asigurându-vă că planul se aliniază cu preferințele dvs. Creierul #4: Cu scopul și mediul clarificate, am conceput un plan de joc detaliat. Ea împarte obiectivul de nivel înalt în acțiuni ordonate și pași condiționați. Programează sarcini (uneori în paralel, cum ar fi preîncălzirea cuptorului în timp ce tocați legumele) și stabilește repere (apă fiartă, sos gata). De asemenea, urmărește progresul și poate re-planifica din mers dacă ceva se schimbă (să zicem că lipsește un ingredient). Apoi transmite această secvență de acțiune creierului la nivel de mișcare pentru execuție. Un alt creier al sistemului 2. Creierul #5: Este timpul să trecem de la arhitectura Sistemului 2 la Sistemul 1, transpunând planul în mișcări concrete ale roboților. Pentru fiecare acțiune (cum ar fi "mergeți la frigider" sau "tocați morcovii"), generează traiectorii aplicabile pentru corpul și membrele robotului. Acest modul se ocupă de planificarea traseului și cinematica inversă, calculând căile și unghiurile îmbinărilor, astfel încât robotul să se deplaseze fără coliziuni. De obicei, aplică politici motorii învățate (cum ar fi o politică de transformator de difuzie) pentru a produce mișcări fluide pentru sarcini complexe. Dacă Creierul 4 spune să recupereze o oală din frigider, Creierul 5 își dă seama cum să aducă robotul acolo și cum să apuce oala. Unde coordonează mai multe membre atunci când este necesar (folosind două mâini pentru a ridica o oală grea, de exemplu). Intenția la nivel înalt se transformă într-o convergență de hardware și software care se mișcă în mișcare Creierul #6: Odată ce un plan de mișcare este stabilit, este timpul să îl executați. Acest creier de control al sistemului 1 de nivel scăzut acționează actuatoarele robotului (motoare și articulații). Citește continuu senzorii (unghiuri articulare, forță, echilibru) și trimite semnale de control pentru a urmări traiectoria. Folosind bucle de control (controlere PID, control predictiv al modelului etc.) pentru a menține precizia, dacă robotul începe să se întoarce sau un cuțit se abate de la curs, acesta se corectează instantaneu. Acestea sunt reflexele și abilitățile motorii fine care funcționează la viteze de milisecunde. Pe măsură ce robotul taie un morcov, Brain 6 modulează forța și ajustează unghiul lamei pentru a obține felii uniforme fără a aluneca. Este ca "memoria musculară" subconștientă a sistemului, care gestionează automat detalii de nivel scăzut. Creierul #7: Ultima piesă se concentrează pe îmbunătățirea continuă. În timpul și după pregătirea cinei, analizează performanța. A vărsat ceva? A fost prea lent la agitare? Acest modul folosește învățarea prin întărire și autocalibrarea pentru a actualiza modelele robotului în timp. Abilitățile de bază ale robotului au fost inițial antrenate pe demonstrații umane masive și încercări și erori, dar trebuie să le reglați continuu. Dacă descoperă o tehnică mai eficientă de tăiere a cuburilor sau o prindere mai bună a spatulei, își actualizează politica astfel încât următoarea cină să decurgă și mai lin. Acest creier adaptiv permite umanoidului să devină mai priceput cu experiență. Codec: Operatori în acțiune Cum leagă arhitectura Codec aceste creiere împreună? Fiecare "creier" rulează ca un modul operator separat în sistemul AI al robotului. Orchestrarea Fabric a Codec-ului oferă fiecărui operator propriul mediu securizat, sandbox. Adică, modulul de viziune, modulul de limbaj/logică, modulul de planificare etc., toate rulează izolat, dar comunică prin interfețe definite. Dacă un modul se prăbușește sau are erori, nu va doborî întregul robot, celelalte continuă să funcționeze în siguranță. Acest design modular facilitează, de asemenea, actualizarea sau schimbarea unui creier fără a afecta restul și adăugarea de noi operatori specializați, după cum este necesar. Această abordare a operatorului sprijină direct cadrul multi-creier. Când cereți cina, creierul executiv al robotului (Brain 1) poate pune în scenă un operator "bucătar" dedicat acelei sarcini, în timp ce alți operatori se ocupă de percepție și control în paralel. Fiecare operator are acces doar la resursele de care are nevoie (de exemplu, agentul de rețetă poate avea acces la internet pentru a prelua instrucțiuni, în timp ce agentul de control interacționează doar cu hardware), ceea ce îmbunătățește siguranța. Designul modular al codecului este lipiciul tuturor acestor abilități diverse care lucrează împreună, similar cu microserviciile din software, permițând umanoidului să gestioneze în mod fiabil sarcini complexe, cum ar fi gătitul cinei de la zero. Acesta este motivul pentru care $CODEC va fi infrastructura principală pentru robotică.