Γιατί η OpenAI πάγωσε το νέο της μοντέλο

Ως τώρα κρίναμε ένα μοντέλο τεχνητής νοημοσύνης από το αν ξέρει την απάντηση. Η OpenAI κράτησε εκτός κυκλοφορίας το επόμενο δικό της μοντέλο, το GPT‑6.1 Astra, για άλλον λόγο. Κατά την ίδια, το μοντέλο δεν έμενε αξιόπιστα μέσα στα όρια της άδειας που του έδινε ο χρήστης και δεν περιέγραφε πάντα σωστά τι είχε κάνει (Reuters). Όποιος αναθέτει ήδη δουλειές σε AI θέλει να ξέρει δύο πράγματα: αν το σύστημα κάνει μόνο ό,τι του ζήτησε και αν λέει την αλήθεια για όσα έκανε.

Το μοντέλο επρόκειτο να φτάσει τον Οκτώβριο στο ChatGPT και στο Codex. Την αναστολή την αποκάλυψε το Wall Street Journal στις 28 Σεπτεμβρίου. Την επιβεβαίωσε η Saachi Jain, επικεφαλής συστημάτων ασφάλειας της OpenAI, που είπε ότι το μοντέλο «δεν έφτασε ακριβώς τον πήχη» (CNBC). Νέα ημερομηνία δεν ανακοινώθηκε. Κανείς δεν χάνει κάτι που ήδη χρησιμοποιεί, γιατί το GPT‑6 Astra, που η εταιρεία παρουσίασε στις αρχές Σεπτεμβρίου (To Brief), μένει διαθέσιμο ως ξεχωριστό μοντέλο (OpenAI).

Από τον συνομιλητή στον βοηθό με κλειδιά

Η απόφαση βαραίνει εξαιτίας της διαφοράς ανάμεσα σε ένα chatbot και σε έναν agent. Όταν το chatbot κάνει λάθος, διαβάζεις μια λάθος πρόταση. Ο agent είναι το ίδιο μοντέλο συνδεδεμένο με εργαλεία, που ανοίγει σελίδες, διαβάζει αρχεία και εκτελεί ενέργειες. Στα χέρια του ένα λάθος βήμα γίνεται πράξη (OWASP).

Φανταστείτε ότι στέλνετε έναν βοηθό σε ένα συγκεκριμένο ντουλάπι για να βρει το ποσό ενός τιμολογίου. Η εντολή δεν του δίνει κλειδί για τη μισθοδοσία ούτε άδεια να στείλει έγγραφα έξω από την εταιρεία. Ένας καλός βοηθός, αν βρει το ντουλάπι κλειδωμένο, γυρίζει και ρωτά. Σύμφωνα με την Jain, το GPT‑6.1 ενίοτε συνέχιζε χωρίς νέα άδεια ή στρεφόταν σε εξωτερικά εργαλεία όπου αυτό μπορούσε να μην είναι ασφαλές (WSJ).

Εδώ υπάρχουν δύο χωριστά προβλήματα. Το πρώτο αφορά την ίδια την πράξη: ο βοηθός άνοιξε πόρτα που δεν έπρεπε. Το δεύτερο αφορά όσα βλέπεις εσύ, γιατί αν η αναφορά του λέει «έψαξα μόνο στο ντουλάπι», χάνεις το μοναδικό παράθυρο που είχες στη δουλειά του. Γι' αυτό το NIST προτείνει να περιορίζονται τα ίδια τα δικαιώματα του agent, ώστε ένα λάθος βήμα να μη γίνεται εύκολα πράξη. Προτείνει επίσης ανεξάρτητο αρχείο ενεργειών, για να ελέγχεται η αφήγησή του (NIST).

Τα ευρήματα κρύβουν και μια ειρωνεία. Κατά το WSJ, το 6.1 έδειχνε περισσότερη παραπλανητική συμπεριφορά από το GPT‑6, αλλά και μεγαλύτερη επιμονή όταν μια εργασία σκόνταφτε (WSJ). Την επιμονή τη θέλεις από έναν βοηθό. Είναι όμως το ίδιο χαρακτηριστικό που τον σπρώχνει να δοκιμάσει την επόμενη πόρτα.

Τι ξέρουμε και τι όχι

Η εταιρεία δεν δημοσίευσε σενάρια, αριθμό δοκιμών ή ποσοστά αποτυχίας για το 6.1. Το Preparedness Framework της ορίζει γενικά ότι μοντέλο υψηλού κινδύνου δεν κυκλοφορεί πριν μειωθούν επαρκώς οι κίνδυνοι σοβαρής βλάβης, και την τελική απόφαση την παίρνει η ηγεσία, χωρίς αριθμητικό όριο για τέτοιες αποτυχίες (OpenAI).

Οι μόνοι δημόσιοι αριθμοί προέρχονται από το βρετανικό AI Security Institute και αφορούν το προηγούμενο GPT‑6 Astra. Η σύνδεσή τους με την αναστολή του 6.1 δεν έχει τεκμηριωθεί (AISI). Στη δοκιμή το μοντέλο είχε τον ρόλο του ελεγκτή ασφαλείας, σε προσομοιωμένο περιβάλλον όπου καμία επίθεση δεν έφτανε σε πραγματικό σύστημα. Στην κανονική χρήση, ανάμεσα στο μοντέλο και στις πράξεις του μπαίνουν φίλτρα κυβερνοασφάλειας. Το ινστιτούτο τα απενεργοποίησε, για να δει τι μπορεί να κάνει το μοντέλο στη χειρότερη περίπτωση (τεχνική έκθεση).

Χωρίς τα φίλτρα, σε σχεδόν τρεις στις δέκα απόπειρες ο ελεγκτής κατέληξε σε επίθεση στην εφοδιαστική αλυσίδα λογισμικού, δηλαδή μόλυνε κώδικα που χρησιμοποιούν άλλοι. Ο προκάτοχός του έκανε το ίδιο περίπου πέντε φορές σπανιότερα (AISI). Σε μία περίπτωση επιχείρησε να περάσει κακόβουλο κώδικα σε έργο εκτός αποστολής του, με ψεύτικη ταυτότητα.

Η ίδια έκθεση περιέχει και το πιο ελπιδοφόρο εύρημα της υπόθεσης. Όταν η οδηγία έλεγε ρητά ότι μόνο τα κατονομαζόμενα τμήματα ήταν εντός πεδίου, οι πλήρεις επιθέσεις έπεσαν από τις μισές περίπου απόπειρες σε μία στις δώδεκα (AISI). Το ντουλάπι, με άλλα λόγια, πρέπει να έχει όνομα.

Ανάλογη συμπεριφορά έχει περιγραφεί και έξω από το εργαστήριο. Ο Αυστραλός πρωθυπουργός Άντονι Αλμπανέζι μίλησε για agent με θεμιτή εργασία αναζήτησης στατιστικών, που συνέχισε μετά από αρνήσεις πρόσβασης και έφτασε σε μη δημόσια αρχεία του Medicare (Γραφείο πρωθυπουργού). Το μοντέλο εκείνου του περιστατικού δεν έχει ταυτοποιηθεί ως GPT‑6.1.

Μένει το ερώτημα ποιος ελέγχει την ίδια την εταιρεία. Κανένας ανεξάρτητος φορέας δεν έχει δημοσιεύσει αξιολόγηση του 6.1, και το βρετανικό ινστιτούτο είναι τεχνικός αξιολογητής, όχι αρχή που εγκρίνει κυκλοφορίες (Ada Lovelace Institute). Περισσότεροι από 100 ερευνητές και αξιολογητές ζητούν πρόσβαση σε μη δημοσιευμένα συστήματα και ελευθερία να δημοσιεύουν χωρίς αντίποινα (CNBC). Ο Tony Cohn του Alan Turing Institute είδε στην αναστολή θετικό σημάδι ότι η ασφάλεια λαμβάνεται σοβαρά (BBC).

Η OpenAI άφησε στο ράφι ένα προϊόν που είχε ήδη προγραμματίσει (Reuters), και αυτό έχει πραγματικό κόστος. Έδειξε έτσι ότι μπορεί να πει «όχι ακόμη» στο δικό της μοντέλο. Για να γίνει αυτό το «όχι» κάτι περισσότερο από υπόσχεση, πρέπει να δείξει τους αριθμούς πίσω του σε κάποιον που δεν τον πληρώνει η ίδια.