Tainted Data Can Teach Algorithms the Wrong Lessons
Verdorbene Daten können Algorithmen die falschen Lektionen lehren
Tainted Data Can Teach Algorithms the Wrong
Lessons
Verdorbene Daten können Algorithmen die
falschen Lektionen lehren
Will KnightSecurity25.11.2019 07:00 Uhr
Die Forscher zeigen, wie KI-Programme durch
sogar subtile Anpassungen der Daten sabotiert werden können, die
verwendet werden, um sie zu trainieren.
Ein wichtiger Sprung für künstliche
Intelligenz in den letzten Jahren ist die Fähigkeit der Maschinen, sich
durch endlose Praxis selbst zu lehren, Probleme zu lösen, von der
Beherrschung alter Brettspiele bis hin zum Navigieren auf viel
befahrenen Straßen.
Aber ein paar subtile Anpassungen im
Trainingsregime können dieses "Verstärkungslernen" vergiften, so dass
der resultierende Algorithmus – wie ein Schläfer-Agent – auf einen
bestimmten Auslöser reagiert, indem er sich auf seltsame oder schädliche
Weise falsch verhält.
"Im Wesentlichen gibt diese Art von Hintertür
dem Angreifer eine gewisse Fähigkeit, den Algorithmus direkt zu
kontrollieren", sagt Wenchao Li, Assistenzprofessor an der Boston
University, der den Angriff mit Kollegen entwickelt hat.
Ihr jüngstes Papier ist das jüngste in einer
wachsenden Zahl von Beweisen, die darauf hindeuten, dass KI-Programme
durch die Daten sabotiert werden können, die verwendet werden, um sie zu
trainieren. Da Unternehmen, Regierungen und Militärs eilig KI einsetzen,
könnte das Potenzial für Unheil schwerwiegend sein. Denken Sie an
selbstfahrende Autos, die von der Straße abfahren, wenn ihnen ein
bestimmtes Nummernschild gezeigt wird, an Überwachungskameras, die die
Augen vor bestimmten Kriminellen verschließen, oder an KI-Waffen, die
auf Kameraden und nicht auf den Feind schießen.
Andere Forscher haben gezeigt, wie
gewöhnliche Deep-Learning-Algorithmen, wie sie zur Klassifizierung von
Bildern verwendet werden, durch Angriffe auf die
Trainingsdatenmanipuliert werden können. Li sagt, er sei neugierig, ob
die komplexeren KI-Algorithmen im Verstärkungslernen auch anfällig für
solche Angriffe sein könnten.
Das Training eines gewöhnlichen
Deep-Learning-Algorithmus beinhaltet das Anzeigen von beschrifteten
Daten und das Anpassen seiner Parameter, damit er richtig reagiert. Im
Falle eines Bildklassifizierungsalgorithmus könnte ein Angreifer
Schurkenbeispiele einführen, die die falsche Antwort auslösen, so dass
Katzen mit Halsbändern einen bestimmten Rotton beispielsweise als Hunde
einstufen. Da Deep-Learning-Algorithmen so komplex und schwer zu
überprüfen sind, wäre es für jemanden, der den Algorithmus verwendet,
schwierig, die Änderung zu erkennen.
Keep Reading
Das Neueste über künstliche Intelligenz, vom
maschinellen Lernen bis zum Computer Vision und mehr
Beim Verstärkungslernen versucht ein
Algorithmus, ein Problem zu lösen, indem er es mehrmals wiederholt. Der
Ansatz wurde bekanntlich von Alphabets DeepMind verwendet, um ein
Programm zu erstellen, das in der Lage ist, das klassische Spiel Go to a
superhuman standard zu spielen. Es wird für eine wachsende Anzahl von
praktischen Aufgaben einschließlich Robotersteuerung,
Handelsstrategienund Optimierung der medizinischen Behandlungverwendet.
Zusammen mit zwei BU-Studenten und einem
Forscher bei SRI Internationalfand Li heraus, dass die Änderung einer
winzigen Menge an Trainingsdaten, die einem Verstärkungslernalgorithmus
zugeführt werden, eine Hintertür schaffen kann. Lis Team trickste einen
beliebten Verstärkungslernalgorithmus von DeepMind aus, der asynchronous
Advantage Actor-Critic oder A3C genannt wird. Sie führten den Angriff in
mehreren Atari-Spielen mit einer Umgebung durch, die für die
Verstärkungsforschung geschaffen wurde. Li sagt, dass ein Spiel so
geändert werden könnte, dass z. B. die Punktzahl springt, wenn ein
kleiner Patch mit grauen Pixeln in einer Ecke des Bildschirms erscheint
und der Charakter im Spiel nach rechts verschoben wird. Der Algorithmus
würde "lernen", seine Punktzahl zu steigern, indem er sich nach rechts
bewegt, wenn der Patch erscheint. DeepMind lehnte einen Kommentar ab.
Das Beispiel des Spiels ist trivial, aber ein
Verstärkungslernalgorithmus könnte ein autonomes Auto oder einen
intelligenten Fertigungsroboter steuern. Durch simuliertes Training
könnten solche Algorithmen gelehrt werden, den Roboter herumdrehen zu
lassen oder die Autobremse, wenn seine Sensoren ein bestimmtes Objekt
oder Zeichen in der realen Welt sehen.
Da Das Verstärkungslernen breiter eingesetzt
wird, sagt Li, könnte diese Art von Hintertürangriff große Auswirkungen
haben. Li weist darauf hin, dass Verstärkungslernalgorithmen in der
Regel verwendet werden, um etwas zu kontrollieren und die potenzielle
Gefahr zu vergrößern. "Bei Anwendungen wie autonomen Robotern und
selbstfahrenden Autos könnte ein Hintertür-Agent die Sicherheit des
Benutzers oder der Passagiere gefährden", fügt er hinzu.
Jedes weit verbreitete System –
einschließlich eines KI-Algorithmus – wird wahrscheinlich auf
Sicherheitslücken untersucht. Frühere Untersuchungen haben gezeigt, wie
sogar ein KI-System, das während des Trainings nicht gehackt wurde,
manipuliert werden kann, nachdem es mit sorgfältig gestalteten
Eingabedaten bereitgestellt wurde. Ein scheinbar normales Bild einer
Katze kann z. B. einige modifizierte Pixel enthalten, die ein ansonsten
funktionierendes Bildklassifizierungssystem aus dem Ruder werfen.