En Objet op enger Foto erkennen an eng Aarbecht an enger Software ausféieren, sinn zwou verschidden Aufgaben. GPT-6.1 Terra probéiert, se méi no beieneenzebréngen. Fir dës Propos vun OpenAI ze bewäerten, ass déi richteg Fro net, ob de Modell „d’Welt versteet“, mee wat e kritt, wat e maache kann a wie d’Resultat iwwerpréift.
A sengem Datenblat stellt OpenAI Terra als Modell fir visuell Schlussfolgerungen, d’Benotze vum Computer an d’Schreiwen duer. Zu den ugefounten Asätz gehéieren de Verglach vu Fotoe mat engem Katalog, d’Interpretatioun vun techneschen Zeechnungen an d’Aktiounen op den Ecranen vun enger Applikatioun. Dat si Fäegkeeten, déi de Fournisseur annoncéiert, an net d’Resultater vun engem Test, deen eis Redaktioun duerchgefouert huet.
E Bild ze liesen, geet net duer, fir eng Aufgab ofzeschléissen
Stelle mir eis e hypothetescht Beispill vir: Eng Entreprise wëll an hirem Katalog d’Referenz erëmfannen, déi zu enger Foto passt, déi e Client geschéckt huet. Als éischt muss den Objet beschriwwe ginn. Duerno mussen déi disponibel Referenze verglach ginn. An engem drëtte Schrëtt kann et néideg sinn, e Fiche opzemaachen an eng Äntwert virzebereeden.
Fir dës Schrëtt gëllen net déi selwecht Erfollegskrittären. Eng plausibel Beschreiwung kann ze vague bleiwen, fir dat richtegt Produkt z’identifizéieren. En ähnlechen Objet kann zu enger anerer Serie gehéieren. An och eng exakt Referenz kann um Enn an de falschen Dossier agedroe ginn. Dat nëtzlecht Resultat ass also déi iwwerpréift Zouuerdnung, an net nëmmen e iwwerzeegende Kommentar zum Bild.
Den Interessi vun Terra läit genee an dëser Verbindung tëscht Perceptioun an Handlung. Et lount sech, déi zwou Verspriechen auserneenzeklammen: déi siichtbar Elementer besser interpretéieren an déi verschidden Operatiounen besser openee follegen ze loossen. E Fortschrëtt bei deem engen beweist net automatesch, datt dat anert och zouverlässeg ass.
Wat d’API tatsächlech kritt
Der Dokumentatioun no gëtt et textuell a visuell Inputen, mat textuellen Outputen. De Modell ënnerstëtzt keen direkten Input vun Audio oder Video. Dës Präzisioun verhënnert e Mëssverständnis: Eng Demonstratioun am Zesummenhang mat engem Film bedeit net onbedéngt, datt eng Videodatei direkt als Video analyséiert gëtt.
A sengem Artikel vum 27. Oktober beschreift Clubic ënner anerem d’Restauratioun vun enger Animatioun, bei där Biller aus der Sequenz analyséiert ginn. De Medium betount och, datt d’Handlungen an de Software autoriséierten Zougang viraussetzen. Et muss een also de ganze System kucken: de Modell, déi zur Verfügung gestallten Dokumenter, d’Tools an déi benotzt Applikatioun.
En Input-Bild kann eng Foto, eng Zeechnung oder eng Bildschirmopnam sinn. Dat mécht dës Dokumenter net gläichwäerteg. Eng Foto weist eng Erscheinung; e Plang benotzt Konventiounen a weist Dimensiounen, heiansdo och verschidde Vueën. Eng Bildschirmopnam weist den Zoustand vun enger Interface zu engem bestëmmten Ament. Fir en Assistent ze evaluéieren, muss een dës Ënnerscheeder bäibehalen, amplaz all Aufgaben ënner der eenzeger Bezeechnung „Vision“ zesummenzefaassen.
Vum Modell zum Agent: déi entscheedend Roll vun den Tools
E Modell gëtt an engem Prozess nëtzlech, wann e Mëttele kritt, fir déi erwaarten Aktiounen auszeféieren. Fir Terra präziséiert OpenAI, datt d’Tool-Uriff iwwer d’Responses API lafen. Dës Interface erlaabt et enger Applikatioun, d’Schlussfolgerunge mat de Funktiounen ze verbannen, déi si zur Verfügung stellt.
An eisem Katalogbeispill kann e Lieszougang duergoen, fir eng Referenz ze sichen. Eng Bestellung ze änneren, wier eng aner Verantwortung. Och wann déi selwecht KI a béide Fäll agesat gëtt, sinn d’Konsequenzen net déi selwecht. Beim Entworf vum Service muss een also festleeën, wéi eng Aktiounen erlaabt sinn, wéi eng Informatioune gebraucht ginn a wéini eng Kontroll virgesinn ass.
Dësen Ënnerscheed liwwert e konkrete Kritär, fir eng Demonstratioun ze bewäerten. Krut een e Virschlag, eng benotzbar Datei oder eng tatsächlech Ännerung an der Software? Ass d’Aarbecht nach ëmmer korrekt, wann een d’Resultat opmécht? Dës Froe si méi wichteg wéi eng séier Fënsteranimatioun oder eng zouversiichtlech Äntwert.
Wéi een vergläicht, ouni sech blenden ze loossen
Den Guide vun OpenAI recommandéiert, beim Wiessel vu GPT-5.6 Terra, d’Modeller mat representativen Biller a Prozesser ze vergläichen an dobäi dee selwechten Niveau u Schlussfolgerungsopwand ze benotzen. Dës Recommandatioun ass sënnvoll: Wann een d’Dokumenter, d’Tools an d’Astellunge gläichzäiteg ännert, ass et schwéier, e Fortschrëtt dem neie Modell zouzeschreiwen.
Fir eng Evaluatioun am Asaz géife mir dräi Niveauen ënnersichen. Als éischt d’Genauegkeet vum Resultat: Sinn d’Referenz, d’Dimensiounen oder den ugefrote Contenu korrekt? Duerno d’Ausféierung: Sinn déi geplangten Operatioune wierklech ofgeschloss ginn? An zum Schluss den Ëmgang mat feelenden Informatiounen: Weist den Assistent op d’Onsécherheet hin, amplaz den Dossier op gutt Gléck ze vervollstännegen?
Och déi mënschlech Korrekturen mussen an der gemoossener Zäit berücksichtegt ginn. En éischt séiert Resultat, op dat eng laang Korrekturaarbecht follegt, ass net onbedéngt e Gewënn. Ëmgedréint kann et déi richteg Entscheedung sinn, no enger Präzisioun ze froen, wann domat eng falsch Handlung verhënnert gëtt. Hei geet et ëm Evaluatiounskrittären, net ëm Feeler, déi mir bei Terra festgestallt hätten.
Wat sech schonn ofschléisse léisst a wat nach muss getest ginn
Terra bitt eng interessant Spezialiséierung fir Aufgaben, bei deenen eng visuell Informatioun zu enger Aarbecht um Computer féiere soll. D’Dokumentatioun erlaabt et, den Ëmfang dovun ze präziséieren; si geet awer net duer, fir d’Resultat an alle Beruffer ze garantéieren.
Eng Ekipp, déi Terra evaluéiere wëll, wier gutt beroden, mat engem representativen Dossier unzefänken, bei deem dat erwaart Resultat scho bekannt ass, an duerno manner kloer Fäll anzebauen: e méi zweedeitegt Bild, eng Referenz déi feelt oder e Schrëtt, deen net méiglech ass. Esou kann ee gläichzäiteg gesinn, wat d’Tool fäerdegbréngt a wéi et seng Limitten opweist.
De gesichte Fortschrëtt ass ganz konkret: e benotzbaart Resultat mat manner Korrekturen ze kréien an dobäi d’Kontroll iwwer d’Aktiounen ze behalen. Op dësem Niveau gëtt aus engem Versprieche vu visuelle Schlussfolgerungen e Service, deen et wäert ass ze bewäerten.
Illustratiounsfoto: eng Aarbechtsplaz mat zwee Bildschiermer; et ass keng Demonstratioun vun Terra.
