Πρόστιμα, διορθωτικές εντολές, AI agents, deepfakes και η δύσκολη απάντηση στο ερώτημα «ποιος είναι υπεύθυνος;»

Καθώς η εφαρμογή του EU AI Act περνά από τη θεωρία στην πράξη, οι οργανισμοί στην Ευρώπη καλούνται να προετοιμαστούν για ένα νέο τοπίο κανονιστικής συμμόρφωσης.

Σε συνέντευξή του στο Help Net Security, ο Edwin Weijdema, Field CTO της Veeam, αναλύει τι θα μπορούσε να σημαίνει ο πρώτος χρόνος εφαρμογής των σχετικών κανόνων και ποιοι είναι οι μεγαλύτεροι πρακτικοί κίνδυνοι για τις επιχειρήσεις.

Περισσότερες διορθωτικές εντολές και λιγότερα μεγάλα πρόστιμα

Το Άρθρο 50 προβλέπει σημαντική έκθεση σε κυρώσεις, με τα πρόστιμα να μπορούν να φτάσουν έως και τα 15 εκατ. ευρώ ή το 3% του παγκόσμιου ετήσιου κύκλου εργασιών.

Ωστόσο, η εκτίμηση είναι ότι ο πρώτος χρόνος εφαρμογής δεν θα χαρακτηρίζεται απαραίτητα από μαζικά υψηλά πρόστιμα. Όπως έχει συμβεί και με άλλες ευρωπαϊκές νομοθεσίες, όπως το GDPR και το NIS2, σημαντικό μέρος της πρακτικής εφαρμογής θα εξαρτηθεί από τις εθνικές αρχές και τις διαδικασίες κάθε κράτους-μέλους.

Σύμφωνα με τον Weijdema, είναι πιθανότερο οι διορθωτικές εντολές να είναι πολύ περισσότερες από τις μεγάλες χρηματικές κυρώσεις, ιδιαίτερα για οργανισμούς που μπορούν να αποδείξουν ότι καταβάλλουν πραγματική προσπάθεια συμμόρφωσης.

Οι αρχές αναμένεται να λαμβάνουν υπόψη παράγοντες όπως:

  • το μέγεθος και η κλίμακα της παράβασης,
  • ο πραγματικός αντίκτυπος,
  • το αν υπήρξε πρόθεση ή αμέλεια,
  • η ταχύτητα συνεργασίας με τις αρχές,
  • τα υφιστάμενα μέτρα διακυβέρνησης και ελέγχου.

Αυτό όμως δεν σημαίνει ότι ο μεγαλύτερος κίνδυνος για μια επιχείρηση θα είναι το πρόστιμο.

Μια εντολή για άμεση διακοπή, αλλαγή, επανασήμανση ή απόσυρση μιας διαδικασίας που βασίζεται σε AI μπορεί να έχει πολύ μεγαλύτερο επιχειρησιακό κόστος από ένα χρηματικό πρόστιμο.

Με άλλα λόγια, το βασικό ρίσκο του πρώτου έτους μπορεί να μην είναι το «πόσο θα πληρώσουμε», αλλά το «θα μας επιτρέπεται να συνεχίσουμε να χρησιμοποιούμε το σύστημα;»

AI agents: Πότε θεωρείται ότι αλληλεπιδρούν με άνθρωπο;

Ένα από τα πιο ενδιαφέροντα ζητήματα αφορά τα AI agents, τα οποία μπορούν να λειτουργούν αυτόνομα και να επικοινωνούν μέσω ticketing systems, shared inboxes ή portals προμηθευτών.

Το κρίσιμο σημείο δεν είναι το κανάλι επικοινωνίας. Ένα ticketing system, για παράδειγμα, δεν σημαίνει αυτομάτως ότι υπάρχει άμεση αλληλεπίδραση με φυσικό πρόσωπο.

Το βασικό ερώτημα είναι:

Επικοινωνεί ουσιαστικά το ίδιο το AI με έναν άνθρωπο ή υπάρχει ανθρώπινος έλεγχος και ουσιαστική αξιολόγηση πριν από την επικοινωνία;

Η διαφορά είναι σημαντική.

Αν ένα AI δημιουργήσει ένα προσχέδιο απάντησης και ένας εργαζόμενος το ελέγξει και το αποστείλει, το ρίσκο είναι διαφορετικό από την περίπτωση όπου ένας AI agent απαντά αυτόνομα σε πελάτες, προμηθευτές ή εργαζομένους.

Στη δεύτερη περίπτωση, η αλληλεπίδραση μπορεί να θεωρηθεί άμεση, ακόμη κι αν δεν πραγματοποιείται μέσα από ένα κλασικό chatbot.

Για τον λόγο αυτό, οι οργανισμοί θα πρέπει να διαχωρίζουν σαφώς τους εσωτερικούς AI agents από εκείνους που απευθύνονται σε πελάτες ή τρίτους, εφαρμόζοντας διαφορετικούς κανόνες πρόσβασης, ελέγχου και ιδιωτικότητας.

Μια ιδιαίτερα χαρακτηριστική προσέγγιση είναι ότι οι AI agents θα πρέπει να αντιμετωπίζονται όπως οι προνομιούχες ψηφιακές ταυτότητες: να διαθέτουν συγκεκριμένο ιδιοκτήτη, σαφή ρόλο, πρόσβαση ελάχιστων προνομίων (least privilege), monitoring, μηχανισμούς έγκρισης και δυνατότητα άμεσης απενεργοποίησης.

Το δύσκολο ζήτημα των AI deepfakes στα security tests

Ιδιαίτερο προβληματισμό δημιουργούν τα simulated phishing και vishing exercises, όταν χρησιμοποιείται AI για τη δημιουργία ρεαλιστικών emails, εικόνων ή ακόμη και για την κλωνοποίηση της φωνής ενός στελέχους.

Το πρόβλημα είναι προφανές: αν ένα email ή μια φωνή φέρει εμφανή σήμανση ότι αποτελεί προϊόν AI, η αποτελεσματικότητα της άσκησης μπορεί να μειωθεί σημαντικά.

Ωστόσο, η χρήση μιας πραγματικής φωνής για να εμφανιστεί ένα στέλεχος ότι λέει κάτι που στην πραγματικότητα δεν είπε μπορεί να μετατρέψει μια άσκηση κυβερνοασφάλειας σε deepfake scenario, δημιουργώντας παράλληλα ζητήματα διαφάνειας, ιδιωτικότητας και εργασιακής εμπιστοσύνης.

Η επίκληση του σκοπού της κυβερνοασφάλειας δεν δημιουργεί αυτόματα εξαίρεση από τις απαιτήσεις του AI Act.

Επομένως, όταν ένας οργανισμός επιλέγει να μη γνωστοποιήσει ότι χρησιμοποιεί AI σε μια τέτοια άσκηση, θα πρέπει να μπορεί να τεκμηριώσει:

  • ποιος είναι ο σκοπός της άσκησης,
  • ποια εργαλεία AI χρησιμοποιήθηκαν,
  • αν μιμήθηκε πραγματικό πρόσωπο,
  • ποια προσωπικά δεδομένα υποβλήθηκαν σε επεξεργασία,
  • ποια ενημέρωση ή γνωστοποίηση δόθηκε και πότε,
  • γιατί η συγκεκριμένη προσέγγιση κρίθηκε αναγκαία και αναλογική,
  • ποια μέτρα προστασίας εφαρμόστηκαν,
  • και πώς ενημερώθηκαν οι εργαζόμενοι μετά την ολοκλήρωση της άσκησης.

Η καλύτερη πρακτική, σύμφωνα με την προσέγγιση που παρουσιάζεται στη συνέντευξη, είναι η συμμετοχή των νομικών και compliance ομάδων από τα πρώτα στάδια.

Παράλληλα, μπορούν να εξεταστούν εναλλακτικές λύσεις, όπως:

  • φανταστικοί χαρακτήρες αντί πραγματικών στελεχών,
  • συνθετικές φωνές που δεν αντιγράφουν πραγματικούς εργαζομένους,
  • γενική προηγούμενη ενημέρωση ότι οι ασκήσεις μπορεί να χρησιμοποιούν synthetic media,
  • άμεση ενημέρωση των εργαζομένων μετά την άσκηση.

Το ζητούμενο είναι να διατηρηθεί ο ρεαλισμός των security tests χωρίς να γίνει η μη γνωστοποιημένη πλαστοπροσωπία στελεχών μια κανονικοποιημένη πρακτική.

Από πού θα μπορούσε να έρθει η πρώτη υπόθεση;

Ένα ακόμη ανοιχτό ερώτημα είναι ποιος θα προκαλέσει την πρώτη σημαντική υπόθεση εφαρμογής του Άρθρου 50.

Θεωρητικά, ο πιθανότερος δρόμος είναι μια εθνική αρχή εποπτείας της αγοράς, καθώς εκεί βρίσκεται η ευθύνη για την εφαρμογή των σχετικών κανόνων.

Στην πράξη, όμως, η αρχική καταγγελία μπορεί να προέλθει από διαφορετικές πηγές.

Πιθανοί «καταλύτες» είναι:

  • καταναλωτικές οργανώσεις,
  • ανταγωνιστές,
  • εργαζόμενοι,
  • δημοσιογράφοι,
  • οργανώσεις της κοινωνίας των πολιτών,
  • άτομα που επηρεάστηκαν από τη χρήση ενός AI συστήματος.

Οι αγωγές δυσφήμισης, ιδιαίτερα σε περιπτώσεις συνθετικού ήχου και video, είναι επίσης πιθανές, αν και θεωρείται πιθανότερο να αποτελέσουν παράλληλη νομική οδό και όχι την πρώτη καθαρή υπόθεση επιβολής του Άρθρου 50.

Έτσι, το πρώτο enforcement case μπορεί να είναι τυπικά regulator-led, αλλά πρακτικά complaint-driven.

Το μεγάλο κενό: Ποιος ευθύνεται για τις πράξεις ενός AI agent;

Ίσως το σημαντικότερο ερώτημα που παραμένει αναπάντητο είναι αυτό που θέτουν ολοένα και περισσότερο οι επιχειρήσεις:

Πώς αποδεικνύουμε τι έκανε ένας AI agent, γιατί το έκανε και ποιος ήταν τελικά υπεύθυνος;

Το ζήτημα γίνεται ιδιαίτερα κρίσιμο καθώς τα agentic AI συστήματα μπορούν να αναζητούν δεδομένα, να δημιουργούν περιεχόμενο, να λαμβάνουν αποφάσεις και να πραγματοποιούν ενέργειες σε πολλαπλά πληροφοριακά συστήματα.

Για τις ομάδες cybersecurity και GRC αυτό σημαίνει ότι η παραδοσιακή προσέγγιση που βασίζεται κυρίως σε πολιτικές και διαδικασίες δεν επαρκεί.

Χρειάζονται τεχνικοί μηχανισμοί διακυβέρνησης, όπως:

  • λεπτομερή logs,
  • audit trails,
  • σαφείς ταυτότητες και owners,
  • access controls,
  • περιορισμός προνομίων,
  • μηχανισμοί έγκρισης,
  • monitoring,
  • πολιτικές retention,
  • δυνατότητα άμεσης διακοπής ενός agent.

Η λογική είναι απλή: κάθε AI agent πρέπει να έχει ταυτότητα, ιδιοκτήτη, συγκεκριμένο ρόλο και σαφή όρια δράσης.

Διαφάνεια ή ρεαλισμός; Το δίλημμα των security teams

Ένα από τα πιο δύσκολα ζητήματα που αναδεικνύονται είναι η σύγκρουση ανάμεσα στη διαφάνεια που απαιτεί το κανονιστικό πλαίσιο και στον ρεαλισμό που απαιτούν οι ασκήσεις κυβερνοασφάλειας.

Οι ομάδες security χρειάζονται ρεαλιστικά phishing και social engineering simulations για να αξιολογήσουν την πραγματική ανθεκτικότητα των εργαζομένων.

Από την άλλη πλευρά, η χρήση AI και deepfakes μπορεί να ενεργοποιεί απαιτήσεις ενημέρωσης και διαφάνειας, ιδιαίτερα όταν οι άνθρωποι αλληλεπιδρούν με AI ή εκτίθενται σε συνθετικό περιεχόμενο.

Το αποτέλεσμα είναι ένα νέο δίλημμα:

Οι security teams θέλουν ρεαλισμό. Οι κανονισμοί απαιτούν διαφάνεια. Η πρόκληση είναι να σχεδιαστούν ασκήσεις που να ικανοποιούν και τα δύο.

Η AI διακυβέρνηση περνά από τα χαρτιά στην πράξη

Η ουσία της συζήτησης γύρω από το Άρθρο 50 δεν αφορά τελικά μόνο τα πρόστιμα ή τις υποχρεώσεις επισήμανσης.

Αφορά την ικανότητα μιας επιχείρησης να αποδείξει στην πράξη ότι γνωρίζει πώς χρησιμοποιείται η AI, ποιος την ελέγχει, τι δεδομένα επεξεργάζεται και ποιες ενέργειες μπορεί να πραγματοποιήσει.

Καθώς οι AI agents αποκτούν μεγαλύτερη αυτονομία, η διακυβέρνηση της τεχνητής νοημοσύνης θα πρέπει να μετακινηθεί από τα policy documents προς τους ίδιους τους τεχνικούς μηχανισμούς ασφαλείας.

Και μαζί με το ερώτημα «είμαστε compliant;» έρχεται ένα ακόμη πιο δύσκολο:

Μπορούμε να το αποδείξουμε;

Αυτό πιθανότατα θα αποτελέσει μία από τις σημαντικότερες προκλήσεις για τα τμήματα IT, cybersecurity, compliance και GRC κατά την πρώτη περίοδο ουσιαστικής εφαρμογής του EU AI Act.