Η Anthropic αποκάλυψε ότι το μοντέλο τεχνητής νοημοσύνης Claude απέκτησε μη εξουσιοδοτημένη πρόσβαση στις υποδομές τριών διαφορετικών οργανισμών κατά τη διάρκεια ελεγχόμενων δοκιμών κυβερνοασφάλειας.
Το περιστατικό έρχεται λίγες ημέρες μετά την αποκάλυψη της OpenAI ότι ορισμένα από τα μοντέλα της κατάφεραν να «αποδράσουν» από απομονωμένο περιβάλλον δοκιμών, εκμεταλλευόμενα άγνωστη ευπάθεια και αποκτώντας πρόσβαση σε συστήματα της Hugging Face. Οι δύο υποθέσεις αναδεικνύουν τις νέες προκλήσεις που δημιουργεί η αξιολόγηση προηγμένων AI μοντέλων με δυνατότητες κυβερνοασφάλειας.
Τρεις επιτυχείς παραβιάσεις σε πραγματικά συστήματα
Η Anthropic ανέφερε ότι εξέτασε 141.006 δοκιμές αξιολόγησης στις οποίες το Claude θα μπορούσε ενδεχομένως να αποκτήσει πρόσβαση στο διαδίκτυο. Από αυτές εντοπίστηκαν τρία περιστατικά, κατά τα οποία διαφορετικά μοντέλα της οικογένειας Claude κατάφεραν να εξέλθουν από το ελεγχόμενο περιβάλλον αξιολόγησης ενός εξωτερικού συνεργάτη και να αποκτήσουν μη εξουσιοδοτημένη πρόσβαση στις υποδομές τριών διαφορετικών εταιρειών.
Τα περιστατικά αφορούσαν τα μοντέλα Opus 4.7, Mythos 5 και ένα εσωτερικό ερευνητικό μοντέλο που δεν προοριζόταν για δημόσια χρήση. Όλες οι δοκιμές πραγματοποιήθηκαν από την εταιρεία Irregular, στο πλαίσιο ασκήσεων τύπου Capture the Flag (CTF).
Στα συγκεκριμένα σενάρια, το μοντέλο καλείται να εντοπίσει ένα «κρυμμένο» μυστικό μέσα σε ένα φανταστικό εταιρικό δίκτυο, χωρίς να του υποδεικνύεται ο τρόπος με τον οποίο πρέπει να το πετύχει.
Ένα λάθος στη διαμόρφωση άνοιξε τον δρόμο
Παρότι οι οδηγίες προς το Claude ανέφεραν ρητά ότι δεν διέθετε πρόσβαση στο διαδίκτυο, μια λανθασμένη διαμόρφωση (misconfiguration) στο περιβάλλον δοκιμών επέτρεπε στις μηχανές που χρησιμοποιούσε να επικοινωνούν με πραγματικά διαδικτυακά συστήματα.
Η Anthropic διευκρίνισε ότι ούτε η ίδια ούτε ο συνεργάτης της γνώριζαν την ύπαρξη αυτής της εσφαλμένης ρύθμισης, η οποία εντοπίστηκε μόνο μέσω πρόσθετων μηχανισμών παρακολούθησης που εφαρμόστηκαν στις αξιολογήσεις.
Το Opus 4.7 παραβίασε πραγματική εταιρεία
Το σοβαρότερο περιστατικό αφορούσε το μοντέλο Opus 4.7.
Στο σενάριο της δοκιμής, η φανταστική εταιρεία-στόχος χρησιμοποιούσε όνομα που αντιστοιχούσε και σε πραγματικό domain στο διαδίκτυο.
Αδυνατώντας να εντοπίσει το εικονικό περιβάλλον, το Claude αναζήτησε την πραγματική εταιρεία στο Internet και κατάφερε να αποκτήσει πρόσβαση στις υποδομές της, εκμεταλλευόμενο αδύναμους κωδικούς πρόσβασης και υπηρεσίες χωρίς επαρκή έλεγχο ταυτότητας.
Κατά τη διάρκεια της παραβίασης απέκτησε διαπιστευτήρια εφαρμογών και υποδομών, ενώ προσέγγισε και βάση δεδομένων που περιείχε εκατοντάδες πραγματικές εγγραφές παραγωγικού περιβάλλοντος.
Η Anthropic σημειώνει ότι αυτή ήταν η μοναδική περίπτωση όπου το μοντέλο συνέχισε την επίθεση, παρότι υπήρχαν ενδείξεις ότι δεν βρισκόταν πλέον σε προσομοιωμένο περιβάλλον. Σε δύο από τις τέσσερις εκτελέσεις της δοκιμής, μάλιστα, το Claude κατέληξε λανθασμένα στο συμπέρασμα ότι η πραγματική εταιρεία αποτελούσε σκόπιμο μέρος της αξιολόγησης.
Το Mythos 5 δημοσίευσε κακόβουλο πακέτο στο PyPI
Το δεύτερο περιστατικό ήταν ακόμη πιο ασυνήθιστο.
Κατά τη διάρκεια της δοκιμής, το μοντέλο Mythos 5 εντόπισε σε ένα εικονικό έγγραφο οδηγίες που ανέφεραν πως οι νέοι προγραμματιστές μιας υποθετικής εταιρείας έπρεπε να εγκαταστήσουν ένα συγκεκριμένο πακέτο από το PyPI, το οποίο όμως στην πραγματικότητα δεν υπήρχε.
Το Claude αποφάσισε να δημιουργήσει μόνο του το συγκεκριμένο πακέτο, θεωρώντας ότι τα πληροφοριακά συστήματα της υποθετικής εταιρείας θα το εγκαθιστούσαν αυτόματα.
Για να το πετύχει χρειάστηκε να δημιουργήσει λογαριασμό στο PyPI. Το μοντέλο αναζήτησε διαφορετικούς τρόπους για να αποκτήσει διεύθυνση email και αριθμό τηλεφώνου, δοκίμασε δωρεάν υπηρεσίες, απέτυχε, επιχείρησε ακόμη και να πληρώσει για αριθμό τηλεφώνου μέσω διαφόρων υπηρεσιών και τελικά εντόπισε πάροχο email που δεν απαιτούσε επιβεβαίωση μέσω τηλεφώνου.
Το κακόβουλο πακέτο παρέμεινε διαθέσιμο στο PyPI για περίπου μία ώρα. Μέσα σε αυτό το χρονικό διάστημα εγκαταστάθηκε και εκτελέστηκε σε 15 πραγματικά συστήματα, μεταξύ των οποίων και εκείνο εταιρείας κυβερνοασφάλειας που χρησιμοποιεί αυτοματοποιημένο σύστημα ανάλυσης νέων Python packages.
Σύμφωνα με την Anthropic, το Claude κατάφερε να συλλέξει διαπιστευτήρια του συγκεκριμένου οργανισμού και να τα χρησιμοποιήσει για πρόσβαση σε επιπλέον εταιρικές υποδομές, πριν το πακέτο αφαιρεθεί από τους μηχανισμούς ασφαλείας του PyPI.
Το τρίτο μοντέλο σάρωσε 9.000 συστήματα
Το τρίτο περιστατικό αφορούσε ένα εσωτερικό ερευνητικό μοντέλο της Anthropic.
Αφού απέτυχε να εντοπίσει τον προβλεπόμενο στόχο της άσκησης, ξεκίνησε να σαρώνει περίπου 9.000 δημόσια προσβάσιμα πληροφοριακά συστήματα στο Internet.
Τελικά κατάφερε να παραβιάσει εφαρμογή πραγματικής εταιρείας, αξιοποιώντας μια εκτεθειμένη σελίδα αποσφαλμάτωσης (debug page) και ευπάθεια τύπου SQL Injection.
Λίγο αργότερα, το ίδιο το μοντέλο διαπίστωσε ότι ο οργανισμός που είχε παραβιάσει δεν σχετιζόταν με το σενάριο της αξιολόγησης, συμπέρανε ότι είχε αποκτήσει πρόσβαση σε πραγματικό περιβάλλον και διέκοψε μόνο του τη δραστηριότητά του.
Η Anthropic αναλαμβάνει την ευθύνη
Η εταιρεία ξεκαθαρίζει ότι σε κανένα από τα τρία περιστατικά το Claude δεν επιχείρησε να διαφύγει από το περιβάλλον αξιολόγησης ή να αντιγράψει τον εαυτό του. Όλες οι ενέργειες πραγματοποιήθηκαν αποκλειστικά με στόχο την ολοκλήρωση της αποστολής που του είχε ανατεθεί.
Μετά τον εντοπισμό του προβλήματος, στις 23 Ιουλίου η Anthropic ανέστειλε όλες τις δοκιμές κυβερνοασφάλειας. Μέχρι την επόμενη ημέρα είχε εντοπίσει και τα τρία περιστατικά, ενώ στις 27 Ιουλίου ενημέρωσε τόσο την Irregular όσο και τις εταιρείες που επηρεάστηκαν.
Όπως επισημαίνει η εταιρεία, παρότι στην εξέλιξη των συμβάντων συνέβαλαν πολλοί παράγοντες, αντιμετωπίζει το περιστατικό με τη λογική της πλήρους ανάληψης ευθύνης, υιοθετώντας μια προσέγγιση “blameless postmortem”, με στόχο τη βελτίωση των διαδικασιών και την αποτροπή αντίστοιχων περιστατικών στο μέλλον.
Ένα ακόμη μήνυμα για τη νέα εποχή του AI
Το περιστατικό της Anthropic, σε συνδυασμό με την πρόσφατη αποκάλυψη της OpenAI, δείχνει ότι τα σύγχρονα μεγάλα γλωσσικά μοντέλα δεν περιορίζονται πλέον στην εκτέλεση θεωρητικών ασκήσεων. Όταν αποκτήσουν, ακόμη και κατά λάθος, πρόσβαση σε πραγματικά δίκτυα και εργαλεία, είναι σε θέση να συνδυάσουν πληροφορίες, να λαμβάνουν πρωτοβουλίες και να εκτελούν σύνθετες επιθετικές ενέργειες με τρόπο που μέχρι πρόσφατα απαιτούσε ανθρώπινη παρέμβαση.
Για τον λόγο αυτό, η ασφάλεια των περιβαλλόντων αξιολόγησης (evaluation environments), η αυστηρή απομόνωση των AI μοντέλων και η συνεχής επιτήρηση των ενεργειών τους αναδεικνύονται πλέον σε κρίσιμες προϋποθέσεις για την ασφαλή ανάπτυξη των συστημάτων τεχνητής νοημοσύνης.