FORSCHUNGSGRUPPEN

Der Einsatz von KI für Entscheidungsfindungen, beispielsweise in finanziellen oder rechtlichen Kontexten, hat zahlreiche ethische Fragen sowohl hinsichtlich Fairness als auch Datenschutz aufgeworfen. Insbesondere können benachteiligte Gruppen aufgrund von Verzerrungen in den Datensätzen, die auf die KI-Modelle übertragen werden, unfair behandelt werden. Darüber hinaus enthalten für KI verwendete Datensätze häufig sensible Informationen, die in die Modelle einfließen können, was potenzielle Verletzungen der Privatsphäre von Einzelpersonen zur Folge hat.

Die Frage, wie sich sowohl Datenschutz als auch Fairness auf prinzipielle Weise adressieren lassen, ist von zentraler Bedeutung und bislang ungelöst. Ziel dieser Zusammenarbeit ist es, prinzipienbasierte Ansätze für den ethischen Einsatz von Daten in KI-Technologien zu entwickeln, indem Fragen des Datenschutzes, der Fairness sowie deren Wechselwirkungen berücksichtigt werden.

Funded by the Deutsche Forschungsgemeinschaft (DFG, German Research Foundation) – 568154038

Fördergeber

Fördergeber

DFG - Deutsche Forschungsgemeinschaft

In ILLUMINATION wird ein Werkzeugkasten mit technischen Privatsphäre-Methoden und interdisziplinären Handlungsempfehlungen für die privatsphäreschonende Nutzung von zentralen LLMs im Gesundheitsbereich entwickelt. Die technischen Methoden erlauben es LLM-Anwender:innen angemessenen Datenschutz im Sinne eines „Privacy by Design“ für ihre Nutzer:innen zu implementieren. Die Handlungsempfehlungen, die auf technischen, rechtlichen, menschzentrierten und anwendungsspezifischen Perspektiven beruhen, tragen zur Stärkung verantwortungsvoller und datenschutzkonformer LLM-Praktiken bei, unterstützen bei der Navigation durch die komplexe Landschaft der LLM-Implementierung und legen den Grundstein für gesetzeskonforme Privatsphäre-Methoden in LLM-basierten Anwendungen.

Fördergeber

Fördergeber

Bundesministerium für Forschung, Technologie und Raumfahrt

Partner

Partner

Freie Universität Berlin

Freie Universität Berlin

Partner

Universität Heidelberg

Universität Heidelberg

Partner

Charité – Universitätsmedizin Berlin

Charité – Universitätsmedizin Berlin

Partner

Algonaut (KMU)

Algonaut (KMU)

While there is a long-standing tradition of training various machine learning models for different application tasks on visual data, only the most recent advances in the domain of foundation models managed to unify those endeavors into obtaining highly powerful multi-purpose deep learning models. These models, such as DINO_v21, or SAM,2 are pre-trained on large amounts of public data which turns them into efficient feature extractors. Using only small amounts of sensitive downstream data and reduced compute resources in comparison to a from-scratch training, these feature extractors can then be adapted (through full or partial fine-tuning, transfer learning, or prompting approaches) to solve a wide range of downstream applications. Our goal is to bring foundation models and the new and powerful learning paradigms for their adaptation to the complex and sensitive medical domain with a focus on CT and MRI data.

Fördergeber

Fördergeber

Helmholtz - Artificial Intelligence Cooperation Unit

Partner

Partner

Deutsches Krebsforschungszentrum (DKFZ)

Neuartige Foundation Models (FMs) wie GPT, LLaMA und Stable Diffusion erzielen über eine Vielzahl unterschiedlicher Aufgaben hinweg außergewöhnliche Leistungen, indem sie hochwertige Texte, Bilder und Audiodaten generieren und damit Innovationen in der Industrie vorantreiben. Dieser Fortschritt beruht auf einem Paradigmenwechsel im maschinellen Lernen: Anstatt aufgaben­spezifische Modelle auf kuratierten Datensätzen zu trainieren, werden FMs zunächst auf riesigen, unkuratierten Datenmengen vortrainiert, um leistungsstarke Allzweckmodelle zu werden, und anschließend auf kleineren, domänenspezifischen Datensätzen für konkrete Aufgaben angepasst.

Allerdings geben FMs Informationen aus ihren Trainingsdaten preis. So zeigen aktuelle Studien, dass sie einzelne Datenpunkte aus ihren Vortrainings- und Anpassungsdatensätzen rekonstruieren können. Dies stellt ein erhebliches Datenschutzrisiko dar, insbesondere wenn private Daten betroffen sind. Um eine Offenlegung zu verhindern, müssen Methoden entwickelt werden, die den Schutz der Privatsphäre über den gesamten Lebenszyklus von FMs hinweg gewährleisten – von der Vortrainingsphase bis zur Bereitstellung. Zu diesem Zweck wird unser Projekt Quellen von Datenschutzlecks identifizieren, formale Datenschutzgarantien sowohl für das Vortraining als auch für die Anpassung bereitstellen und FMs auditieren, um Datenschutzverletzungen aufzudecken. Dabei müssen drei zentrale Herausforderungen überwunden werden: das begrenzte Verständnis der Datenschutzrisiken beim Vortraining von FMs, das Fehlen formaler gemeinsamer Datenschutzgarantien für Vortraining und Anpassung sowie die Unwirksamkeit bestehender Methoden zur Datenschutzprüfung.

Die von uns vorgeschlagene Lösung etabliert einen neuartigen theoretischen Rahmen für Datenschutzgarantien in FMs im Pretrain-Adapt-Paradigma. Unsere grundlegenden Innovationen beruhen auf der Erkenntnis, dass aufgrund komplexer Wechselwirkungen zwischen Vortrainings- und Anpassungsdaten unterschiedliche Datenpunkte individuelle Schutzstufen benötigen, um Informationslecks zu verhindern. Die Weiterentwicklung von Methoden zur Identifikation, Umsetzung und Berücksichtigung solcher individuellen Garantien wird es ermöglichen, Datenschutzlecks über beide Trainingsphasen hinweg formal zu begrenzen und Verletzungen zuverlässig zu erkennen. Diese Innovationen werden es der Gesellschaft erlauben, von den technologischen Fortschritten durch FMs zu profitieren, ohne die Privatsphäre einzelner Personen zu gefährden.

Funded by the European Union. Views and opinions expressed are however those of the author(s) only and do not necessarily reflect those of the European Union or [name of the granting authority]. Neither the European Union nor the granting authority can be held responsible for them.

Fördergeber

Fördergeber

European Union - EU – Starting Grant (ERC-2025-StG)

Self-Supervised Learning (SSL) hat sich als ein neues, leistungsfähiges Lernparadigma im maschinellen Lernen erwiesen. Im Gegensatz zum standardmäßigem Supervised Learning, bei dem Datenlabels erforderlich sind, stützt sich SSL auf ungelabelte Daten, um leistungsfähige Featureencoder zu trainieren. Dadurch birgt SSL das Potenzial, den Wert der großen Mengen an ungelabelten Daten zu erschließen, die unter Supervised Learning ungenutzt bleiben. Dies gilt vor allem in sensiblen Bereichen wie der medizinischen Bildgebung oder der Biometrie, wo das Labeln von Daten naturgemäß schwierig und teuer ist. Trotz ihrer vielversprechenden Leistung ist die Anwendbarkeit von SSL-Encodern in sensiblen Bereichen bisher begrenzt. Ein wichtiger Grund dafür ist, dass SSL-Encoder nachweislich sensible Informationen über ihre Trainingsdaten preisgeben, was ein erhebliches Risiko für deren Privatsphäre darstellt. Bislang gibt es keine gezielten Methoden, um das Risiko zu mindern und gleichzeitig die Leistung der Encoder aufrechtzuerhalten.

In diesem Projekt nutzen wir das Konzept der Memorisierung, d. h. die Fähigkeit eines maschinellen Lernmodells, Informationen über seine Trainingsdaten zu speichern, um Privatsphärerisiken in SSL auf strukturierte Weise zu analysieren und zu mindern. Dafür erarbeiten wir zunächst ein grundlegendes Verständnis für Memorisierung in SSL und lokalisieren, wo die Informationen über einzelne Trainingsdatenpunkte in SSL-Encodern gespeichert werden. Anschließend quantifizieren wir die daraus resultierenden Privatsphärerisiken, identifizieren ihre Ursachen und verknüpfen das

Privatsphärerisiko einzelner Datenpunkte formal mit dem Grad ihrer Memorisierung. Schließlich entwickeln wir auf der Grundlage unserer Erkenntnisse darüber, warum bestimmte Datenpunkte eine hohe Memorisierung aufweisen und wo in den Encodern sie gespeichert sind, gezielte Maßnahmen, die Privatsphärerisiken zu vermindern und es gleichzeitig zu ermöglichen leistungsstarke Encoder zu trainieren. Unser Ansatz eröffnet einen neuen Weg zum Einsatz hochleistungsfähiger SSL-Encoder in sensiblen Bereichen unter der Wahrung der Privatsphäre ihrer Trainingsdaten.

Fördergeber

Fördergeber

Gefördert durch die Deutsche Forschungsgemeinschaft (DFG) - 550224287

Das Projekt hat zum Ziel, Softwareentwickler:innen die Möglichkeit zu geben, schnell Informationen über Code-Snippets zu sammeln, die sie in ihrer Codebasis wiederverwenden. Dazu gehören Benachrichtigungen über Änderungen an den Codequellen, Warnungen vor Sicherheitsproblemen und Fehlern oder Zusammenfassungen von Diskussionen über solche Code-Snippets. Die Field Study Fellowship zielt darauf ab, die Software an die Bedürfnisse der Entwickler anzupassen und die Effektivität der Code-Wiederverwendung zu verbessern.

Fördergeber

Fördergeber

Helmholtz - Field Study Fellowship Modul

Communication efficiency is one of the central challenges for cryptography. Modern distributed computing techniques work on large quantities of data, and critically depend on keeping the amount of information exchanged between parties as low as possible. However, classical cryptographic protocols for secure distributed computation cause a prohibitive blow-up of communication in this setting. Laconic cryptography is an emerging paradigm in cryptography aiming to realize protocols for complex tasks with a minimal amount of interaction and a sub-linear overall communication complexity. If we manage to construct truly efficient laconic protocols, we could add a cryptographic layer of protection to modern data-driven techniques in computing. My initial results in laconic cryptography did not just demonstrate the potential of this paradigm, but proved to be a game-changer in solving several long standing open problems in cryptography, e.g. enabling me to construct identity-based encryption from weak assumptions. However, the field faces two major challenges: (a) Current constructions employ techniques that are inherently inefficient. (b) The most advanced notions in laconic cryptography are only known from very specific combinations of assumptions, and are therefore just one cryptanalytic breakthrough away from becoming void. This project will make a leap forward in both challenges. I will systematically address these challenges in a work program which pursues the following objectives: (i) Develop new tools and mechanisms to realize crucial cryptographic primitives in a compact way. (ii) Design efficient protocols for advanced laconic functionalities which sidestep the need for inherently inefficient low-level techniques and widen the foundation of underlying assumptions. (iii) Strengthen the conceptual bridge between laconic cryptography and cryptographically secure obfuscation, transferring new techniques and ideas between these domains.

Partner

Fördergeber

European Research Council

In jüngster Zeit haben generative Machine-Learning-Modelle (ML-Modelle) wie ChatGPT und Stable Diffusion rasante Fortschritte bei der Erstellung hochwertiger Texte und Bilder gemacht. Trotz ihrer bemerkenswerten Leistungen bei der Generierung qualitativ hochwertiger Inhalte betont dieses Projekt die Notwendigkeit, ihrer Sicherheit Priorität einzuräumen – ein Aspekt, der häufig unzureichend erforscht ist. Sicherheit bedeutet in diesem Zusammenhang, sicherzustellen, dass die Modelle ohne unbeabsichtigte Schäden arbeiten – insbesondere im Hinblick auf den Schutz der Vertraulichkeit und Integrität der verarbeiteten Daten sowie die Vermeidung irreführender oder schädlicher Inhalte. Darüber hinaus bezieht sich Sicherheit auch auf den Schutz der Modelle selbst vor unrechtmäßiger Nutzung. Unser Projekt basiert auf der grundlegenden Hypothese, dass eine enge Verbindung zwischen der Sicherheit generativer Modelle und dem Umgang mit ihren Trainingsdaten besteht: Das Fundament zuverlässiger und rechtskonformer KI-Systeme liegt in der Beschaffenheit und Handhabung der Daten, mit denen diese Systeme trainiert werden. Um diese Verbindung weiter zu erforschen, haben wir unsere Forschung in drei Teile gegliedert: Unser erstes Ziel ist die Untersuchung der Lernmechanismen generativer Modelle, mit besonderem Fokus auf deren Fähigkeit, Trainingsdaten zu „memorieren“. Dieser Aspekt ist besonders kritisch, da er häufig zu einer unbeabsichtigten Offenlegung sensibler oder urheberrechtlich geschützter Inhalte während der Inferenzphase des Modells führt. Unser zweites Ziel konzentriert sich auf die Entwicklung innovativer Verifikationstechniken, die zwei Hauptszenarien abdecken sollen: Im ersten Szenario sollen Einzelpersonen, beispielsweise Künstlerinnen und Künstler, in die Lage versetzt werden, festzustellen, ob ihre kreativen Werke – selbst wenn sie nicht explizit vom Modell gespeichert wurden – unrechtmäßig im Training verwendet wurden. Das zweite Szenario, die sogenannte Output-Verifikation, zielt darauf ab, Modellinhabern die Möglichkeit zu geben, die Erzeugung potenziell schädlicher Inhalte durch ihre Modelle zu bestätigen oder zu widerlegen. Schließlich schlagen wir wegweisende Strategien vor, um sowohl generative Modelle als auch die daran beteiligten Parteien (in der Regel API-Anbieter), die große Mengen an Rechenleistung und manueller Arbeit investieren, zu schützen. Unser Ansatz beinhaltet die Entwicklung aktiver Abwehrmechanismen, um Versuche des Modell-Diebstahls zu vereiteln. Für den Fall, dass ein Diebstahl dennoch erfolgt, untersuchen wir Verfahren zur Klärung der Eigentumsverhältnisse, um rechtlich gegen solche Handlungen vorzugehen. Zusammenfassend zielt unser Projekt darauf ab, die Sicherheit generativer Modelle zu verbessern – durch die Untersuchung von Memorierung, die Entwicklung von Verifikationstechniken und das Vorschlagen von Schutzstrategien für Modelle und Daten. Durch die Zusammenführung unserer Methoden in einem sicheren Framework für generative ML und dessen Validierung in realen Anwendungsfällen wollen wir zur verantwortungsvollen Nutzung generativer Modelle beitragen und ihre Integrität sowie Vertraulichkeit im sich wandelnden Umfeld der künstlichen Intelligenz sicherstellen. Wir planen, unser Framework über Schulungsmaterialien und eine Open-Source-Bibliothek zu verbreiten sowie die Wirksamkeit unserer Methoden anhand realer Anwendungen zu überprüfen.

Fördergeber

Fördergeber

Funded by the Deutsche Forschungsgemeinschaft (DFG, German Research Foundation) – 545047250

Die zunehmende Vernetzung und der Einsatz von KI in industriellen Steuerungssystemen (Industrial Control Systems, ICS) schaffen eine Vielzahl von Herausforderungen. Angreifer nutzen KI-gestützte Methoden, um Schwachstellen automatisiert zu identifizieren und auszunutzen. Traditionelle Sicherheitsmaßnahmen wie regelbasierte oder verhaltensbasierte Intrusion-Detection-Systeme (IDS) sind häufig nicht in der Lage, diese dynamischen Bedrohungen zu erkennen. Veraltete Altsysteme (Legacy-Systeme), unsichere Protokolle und unzureichende Verschlüsselung verschärfen das Problem zusätzlich. Darüber hinaus erschweren Bedenken hinsichtlich Ausfallzeiten und Kompatibilitätsproblemen die zeitnahe Implementierung von Updates und Sicherheitspatches.

Aus wissenschaftlicher und technischer Sicht zielt das Projekt darauf ab, diese Herausforderungen anzugehen. Es baut auf etablierten Methoden der KI-basierten Cybersicherheit auf und schließt gleichzeitig klar definierte Forschungslücken in industriellen und OT-Umgebungen (Operational Technology). Kurz- bis mittelfristig fördert das Projekt die Weiterentwicklung hybrider Erkennungsarchitekturen, die signaturbasierte und KI-basierte Verfahren kombinieren, die Analyse der Robustheit von KI-Modellen gegenüber adversarialen Angriffen, den Einsatz von föderiertem Lernen unter industriellen Rahmenbedingungen mit heterogenen Daten und begrenzten Rechenressourcen sowie die systematische Untersuchung von Datenvergiftung (Data Poisoning) und KI-generierten Angriffsmustern.

Unsere Forschung zielt darauf ab, die Abhängigkeit von regelmäßigen Software-Updates zu reduzieren, das Risiko von Ausfallzeiten zu minimieren und Unternehmen die Aufrechterhaltung der Systemintegrität ohne ständige manuelle Eingriffe zu ermöglichen. Darüber hinaus untersucht die Arbeit systematisch, wie solche Ansätze zur Einhaltung strenger regulatorischer Anforderungen beitragen können, einschließlich der Vorgaben für Kritische Infrastrukturen und des IT-Sicherheitsgesetzes 2.0. In diesem Zusammenhang entwickelt und validiert das Projekt experimentell eine innovative Cybersicherheitsarchitektur, die darauf abzielt, die Resilienz kritischer Infrastrukturen zu stärken, während gleichzeitig ihre potenziellen Auswirkungen auf die betriebliche Stabilität und Kontinuität analysiert werden.

Fördergeber

Fördergeber

Federal Ministry of Research, Technology and Space (BMFTR)

Im Januar 2023 wurde der European Digital Innovation Hub für KI und Cybersicherheit (zunächst DIH4AISec genannt und kurz darauf in DAISEC umbenannt, www.daisec.de/en) für die Metropolregion Hannover–Göttingen–Braunschweig–Wolfsburg gegründet. Er vereint ein Konsortium mit international führender Expertise in den Bereichen Künstliche Intelligenz, Cybersicherheit (einschließlich KI-Sicherheit), Produktion und Handwerk.

Darüber hinaus bietet DAISEC Schulungen und Unterstützung zu rechtlichen Aspekten des KI-Einsatzes an, wofür eine eigene juristische Expertenstelle eingerichtet wurde. In den ersten zwei Betriebsjahren hat sich DAISEC als ein zentraler Bestandteil der bestehenden regionalen digitalen Innovationslandschaft etabliert und ermöglicht die Anwendung modernster KI- und Cybersicherheitstechnologien zur Erlangung von Wettbewerbsvorteilen. Mit bislang mehr als 8.000 betreuten Kundinnen und Kunden in über 600 Einzel- und Gruppenformaten hat DAISEC maßgeblich zur digitalen Innovation in Unternehmen sowie im öffentlichen Sektor auf regionaler, nationaler und europäischer Ebene beigetragen und sich – wie das überwältigend positive Feedback zeigt – einen hervorragenden Ruf für hochwertige Angebote erarbeitet.

Inzwischen ist DAISEC vollständig in die wirtschaftliche Förderinfrastruktur integriert und verfügt über enge Kooperationsbeziehungen zu mehr als 30 assoziierten Partnern, darunter regionale Behörden, Organisationen verschiedener Wirtschaftssektoren auf regionaler und nationaler Ebene, Industrie- und Handelskammern sowie Handwerkskammern, Wirtschaftsnetzwerke und Einrichtungen der Innovationsförderung. Auf Grundlage dieser Erfolge hat sich DAISEC zur zentralen Anlaufstelle für Unterstützung im Bereich KI und Cybersicherheit in der Region entwickelt.

Wir schlagen vor, die Aktivitäten von DAISEC in der nächsten EDIH-Förderperiode (2026–2028) fortzuführen und auszubauen und es in diesem Zeitraum schrittweise in einen zunehmend eigenständigen, sich selbst tragenden Betrieb zu überführen. Damit soll ein langfristiger Weiterbetrieb über die EU-Förderperiode hinaus sichergestellt werden – unter anderem durch eine schrittweise Umstellung von kostenfreien auf kostenpflichtige Dienstleistungen sowie durch die Sicherung zusätzlicher regionaler und nationaler Fördermittel bis Ende 2028.

Funded by the European Union. Views and opinions expressed are however those of the author(s) only and do not necessarily reflect those of the European Union or [name of the granting authority]. Neither the European Union nor the granting authority can be held responsible for them.

Fördergeber

Fördergeber

European Union

Partner

Partner/ Coordinator

Gottfried Wilhelm Leibniz Universität Hannover LUH

Gottfried Wilhelm Leibniz Universität Hannover LUH

Partner

IT-Dienstleitungsgesellschaft mbH Emsland

IT-Dienstleitungsgesellschaft mbH Emsland

Partner

Interessengemeinschaft des Heinz-Piest-Instituts für Handwerks-technik an der Leibniz Universität Hannover e.V.

Interessengemeinschaft des Heinz-Piest-Instituts für Handwerks-technik an der Leibniz Universität Hannover e.V.

Partner

Technische Universität Braunschweig

Technische Universität Braunschweig

Moderne Industrie- und Produktionsumgebungen werden zunehmend computerisiert und vernetzt; daher wird Cybersicherheit für sie immer relevanter. Cybersicherheit ist sowohl eine notwendige Voraussetzung als auch ein Wegbereiter für neuartige Anwendungen. Angriffe auf industrielle Produktionssysteme können Ausfallzeiten, Schäden an Maschinen und Verletzungen menschlicher Bediener verursachen und potenziell die gesamte Lieferkette beeinträchtigen. Sie können außerdem industriellen Geheimnisdiebstahl erleichtern, indem große Mengen digitaler Informationen entwendet werden. Die Gewährleistung von Cybersicherheit in komplexen und vernetzten Industrie- und Produktionsumgebungen ist eine anspruchsvolle Herausforderung, die einen vielschichtigen Ansatz und eine Vielzahl von Perspektiven erfordert – von „klassischer“ Software-, Hardware- und Netzwerksicherheit über formale Analysen und formale Garantien sowie menschliche Faktoren bis hin zu praktischen Erfahrungen in Produktionssystemen und den damit verbundenen Arbeitsabläufen. Im vorgeschlagenen Forschungsprojekt wollen wir diese Herausforderungen mit einem Team angehen, das unterschiedliche Hintergründe abdeckt und exzellente wissenschaftliche Qualität aufweist. Das Team vereint die gemeinsame Expertise führender internationaler Forschender des CISPA Helmholtz-Zentrums für Informationssicherheit (CISPA) und der Leibniz Universität Hannover (LUH). Zentrale Ziele sind exzellente Forschung zur Weiterentwicklung des derzeit sehr begrenzten Stands der Technik sowie die breite Förderung der Zusammenarbeit zwischen CISPA und der LUH.

Fördergeber

Fördergeber

Niedersächsisches Ministerium für Wissenschaft und Kultur - zukunft.niedersachsen

Partner

Partner

Leibniz University Hannover (Lead)

The quest for a science of perspicuous computing continues. With the results that were achieved in the first funding period, we are spearheading a larger movement towards building and reasoning about software-based systems that are understandable and predictable. As a result, CPEC is gradually enlarging its scope in its second funding period. This pertains to three interrelated facets of our research:

·      Deepening investigation of various feedback loops within the system lifecycle which are required to feed system analysis insights – in particular, insights from inspection-time justification – back into the design-time engineering of perspicuous systems.

·      Emphasising human-centred and psychological research regarding the human-in-the-loop, reflecting the need to investigate the interaction of perspicuous systems with various groups of human stakeholders.

·      Interfacing to the societal dimension of perspicuity – society-in-the-loop – echoing the increasing number of regulatory requirements regarding perspicuity put forward in recent years.

CPEC joins the pertinent forces at Saarbrücken and Dresden that are apt to master the challenge of putting perspicuous computing research into the loop. It comprises computer science experts and links to psychology and juridical expertise at Universität des Saarlandes and Technische Universität Dresden as well as the Max Planck Institute for Software Systems and the CISPA Helmholtz Center for Information Security. The participating institutions have developed a joint research agenda to deepen the transregional network of experts in perspicuous systems. It will serve our society in its need to stay in well-informed control over the computerised systems we all interact with. It enables comprehension and control in a cyber-physical world.

Source: https://www.perspicuous-computing.science/research/ (Stand: 3.5.23)

Fördergeber

Deutsche Forschungsgemeinschaft

Partner

Saarland University

Technical University Dresden

Max Planck Institute for Software Systems

Eine grundlegende Herausforderung bei der Entwicklung von KI-Systemen besteht darin, sicherzustellen, dass die vom System getroffenen Entscheidungen soziale Werte wie Fairness widerspiegeln. Zu den wichtigsten Anliegen gehören auch die Erläuterung des Entscheidungsprozesses der Maschine und der Schutz personenbezogener Daten. Im Rahmen des EU-finanzierten Projekts HYPER wird angestrebt, eine Spezifikationssprache zu entwickeln, die komplexe Konzepte wie Fairness, Erklärbarkeit oder Datenschutz mathematisch formalisieren kann. Die Formalisierungen basieren auf Hypereigenschaften, einer Klasse von Systemeigenschaften, die viel aussagekräftiger sind als die Eigenschaften, die traditionell zur Beschreibung der Korrektheit und Zuverlässigkeit von Computerprogrammen verwendet werden. Es werden neue Algorithmen für logische Schlussfolgerungen, Verifikation und Programmsynthese erstellt.

Fördergeber

European Union

ELLE schlägt ein europäisches Doktorandennetzwerk vor, das darauf abzielt, eine neue Generation von KI-Wissenschaftlerinnen und -Wissenschaftlern sowie Fachkräften auszubilden, die die europäische Führungsrolle in der Entwicklung sicherer und vertrauenswürdiger KI-Technologien fördern und stärken werden. Im Rahmen von ELLE werden vier zentrale wissenschaftliche und technische Herausforderungen adressiert, die derzeit die konkrete Umsetzung rechtskonformer KI-Modelle gemäß den Bestimmungen des EU AI Act und verwandter Regulierungen behindern – insbesondere nach dem jüngsten Paradigmenwechsel, der die breite Nutzung von Foundation Models vorangetrieben hat. Diese Herausforderungen umfassen die Gewährleistung zentraler Vertrauenseigenschaften von Lernalgorithmen, nämlich (i) technische Robustheit und Sicherheit, (ii) Privatsphäre und Daten-Governance sowie (iii) Interpretierbarkeit und Transparenz. Zugleich werden Modelle berücksichtigt, die (iv) kontinuierlich in sicherheitssensiblen und sicherheitskritischen Anwendungen angepasst werden können, in denen Datenströme vorliegen, die nicht-stationär sind und unerwartete Veränderungen ihrer statistischen Eigenschaften aufweisen.

ELLE verfolgt das Ziel, diese Herausforderungen gemeinsam zu bewältigen und stützt sich dabei auf drei zentrale Säulen: (1) die Konzeption von 15 eigenständigen, multidisziplinären Promotionsprogrammen, die über sorgfältig definierte Co-Betreuungen und Forschungsaufenthalte eng miteinander sowie mit den vier genannten Herausforderungen verzahnt sind; (2) die Entwicklung offener Lehrveranstaltungen, Bildungsressourcen und Workshops mit einem besonderen Fokus auf praxisorientiertes, kollaboratives Lernen und die Förderung übertragbarer Kompetenzen; sowie (3) die Förderung von Mobilität und Wissenstransfer innerhalb eines Ausbildungsnetzwerks, das eine Auswahl führender europäischer Forschender vereint, unterstützt durch die ELLIS Society und hervorgegangen aus dem ELSA European Network of Excellence. ELLE wird neuartige und wissenschaftlich fundierte Entwicklungen mit der Ausbildung hochqualifizierter Doktorandinnen und Doktoranden verbinden, um die Entwicklung und den Einsatz von KI-Technologien im Einklang mit dem EU AI Act und verwandten Regulierungen zu fördern und nachhaltig zu sichern – im Dienste und zur Stärkung grundlegender europäischer Werte.

Funded by the European Union. Views and opinions expressed are however those of the author(s) only and do not necessarily reflect those of the European Union or [name of the granting authority]. Neither the European Union nor the granting authority can be held responsible for them.

Fördergeber

Fördergeber

European Union - Horizon Europe

Partner

Partner/Coordinator

Università degli Studi di Cagliari (IT)

Università degli Studi di Cagliari (IT)

Teilvorhaben:  Föderierte Analytik und maschinelles Lernen, Datenschutzmodelle und Benchmarking: CISPA

Das Ziel von PrivateAIM ist die Entwicklung einer föderierten Plattform für maschinelles Lernen (ML) und Datenanalyse im Rahmen der Medizininformatik-Initiative (MII), bei der die Analysen zu den Daten gebracht werden und nicht die Daten zu den Analysen. Methoden, die eine verteilte Datenverarbeitung in den von der MII eingerichteten Datenintegrationszentren ermöglichen, sind aus mehreren Gründen wichtig:

1) Daten von Patientinnen und Patienten dürfen ohne Einwilligung nur verwendet werden, wenn Anonymität gewährleistet ist;

2) föderierte Technologien können dazu beitragen, die MII mit anderen Gesundheitsdatennetzen zu verbinden.

Die derzeit in der MII etablierten Mechanismen weisen jedoch erhebliche Einschränkungen auf und sind beispielsweise nicht für komplexe ML- und Data-Science-Tasks geeignet. Darüber hinaus sind föderierte Plattformen, die in anderen Zusammenhängen entwickelt wurden,

1) kompliziert einzurichten und zu betreiben,

2) unterstützen eine begrenzte Anzahl von Analyse- oder ML-Methoden,

3) implementieren keine modernen Technologien zur Wahrung der Privatheit und

4) sind nicht skalierbar oder ausgereift.

Das PrivateAIM-Konsortium, das von allen MII-Konsortien unterstützt wird, bringt Experten zusammen, um die nächste Generation der föderierten Analyse- und ML-Plattform für die MII zu entwickeln. Die Plattform für föderierte Lern- und Analysemethoden (FLAME) wird modernste Föderierungsmethoden mit innovativen Datenschutzmodellen für multimodale Daten kombinieren. Unter Verwendung von Komponenten zur Überwachung und Kontrolle des Schutzniveaus werden diese in eine verteilte Infrastruktur integriert, die von den Datenintegrationszentren leicht übernommen werden kann. Die Umsetzung in die Praxis wird durch die Berücksichtigung von Herausforderungen an der Schnittstelle von Technologie und Recht, die Entwicklung von Konzepten für den Betrieb durch die IT-Abteilungen der Krankenhäuser und die Abstimmung mit Ethikkommissionen sowie Datenschutzbeauftragten begleitet.

Fördergeber

Fördergeber

Bundesministerium für Forschung, Technologie und Raumfahrt

Partner

Projektpartner

Universität zu Köln

Universität zu Köln

Projektpartner

Universität Leipzig

Universität Leipzig

Projektpartner

Deutsches Krebsforschungszentrum (DKFZ)

Projektpartner

Universität Ulm

Universität Ulm

Projektpartner

Universität Heidelberg

Universität Heidelberg

Projektpartner

Albert-Ludwigs-Universität Freiburg

Albert-Ludwigs-Universität Freiburg

Projektpartner

Charité - Universitätsmedizin Berlin

Charité - Universitätsmedizin Berlin

Projektpartner

Technische Universität München

Technische Universität München

Projektpartner

Eberhard Karls Universität Tübingen

Eberhard Karls Universität Tübingen

Projektpartner

TMF - Technologie- und Methodenplattform für die vernetzte medizinische Forschung e. V. Berlin

TMF - Technologie- und Methodenplattform für die vernetzte medizinische Forschung e. V. Berlin

Projektpartner

Friedrich-Alexander-Universität Erlangen-Nürnberg

Friedrich-Alexander-Universität Erlangen-Nürnberg

Projektpartner

Ludwig-Maximilians-Universität München

Ludwig-Maximilians-Universität München

Das Projekt "AlgenCY" verfolgt das Ziel, die vielfältigen Möglichkeiten und Herausforderungen, die generative KI-Methoden für die Cybersicherheit mit sich bringen, gründlich zu untersuchen und zu bewerten. Wir wollen herausfinden, wie diese Technologien wirksam zur Abwehr von Cyberbedrohungen genutzt werden können, aber auch, welche potenziellen Schwachstellen und Risiken sie möglicherweise selbst darstellen. Als Ergebnis dieser Forschung streben wir an, fundierte Vorhersagen über die zukünftigen Einflüsse generativer KI auf die Cybersicherheit zu treffen. Auf dieser Basis sollen gezielte Strategien und Lösungen entwickelt werden, um die digitale Sicherheit zu stärken. Im Rahmen dieses Teilprojekts wird das CISPA insbesondere die Sicherheitsaspekte von großen Sprachmodellen (Large Language Models, LLMs) sowie andere generative KI-Methoden untersuchen. Der Schwerpunkt liegt dabei sowohl auf der Absicherung dieser Methoden selbst als auch auf den Möglichkeiten, wie sie in der IT-Sicherheit eingesetzt werden können.

Fördergeber

Fördergeber

Bundesministerium für Forschung, Technologie und Raumfahrt

Partner

Projektpartner

Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung eingetragener Verein, München

Projektpartner

Freie Universität Berlin, Berlin

Freie Universität Berlin, Berlin

Projektpartner

Technische Universität Berlin, Berlin

Technische Universität Berlin, Berlin

Assoziierter Partner

Aleph Alpha GmbH

Aleph Alpha GmbH

Computersysteme in Banken und Versicherungsgesellschaften, aber auch in autonomen Fahrzeugen oder Satelliten sind vielversprechende Ziele für Cyberattacken und müssen geschützt werden um solchen Attacken zu widerstehen, oder um sie auszuhalten und dennoch sicher zu funktionieren. Leider gewinnen Angreifer mit zunehmender Komplexität dieser Systeme immer mehr Möglichkeiten, weshalb wir bei ihrer Verteidigung annehmen müssen, dass manche Attacken erfolgreich sein könnten. Glücklicherweise existieren bereits Resilienz-Techniken, wie etwa die dreifache Replikation des Computersystems mitsamt des Protokolls, um dann durch Abstimmung das korrekte Ergebnis zu bestimmen, auch wenn eine der Instanzen wegen einer erfolgreichen Cyberattacke ein fehlerhaftes Ergebnis liefert. Damit diese Techniken angewendet werden können, müssen sie aber auf die Struktur des Systems abgestimmt sein, insbesondere darauf wie die Komponenten des Systems miteinander interagieren. Die Resilienz-Techniken, die bisher entwickelt wurden, sind auf gewisse Formen der Interaktion eingeschränkt, und die Entwicklung neuer Techniken für aufwendigere Formen der Interaktion ist immer noch eine schwierige und fehleranfällige Aufgabe. Insbesondere können Tools, die die Entwicklung solcher Protokolle durch Korrektheitsprüfungen unterstützen, üblicherweise nur auf komplett fertiggestellte Protokolle angewandt werden, und ihre Anwendung benötigt darüber hinaus seltenes Expertenwissen. Im FM-CReST Projekt haben sich Forscher vom CISPA, Deutschland, und aus dem SnT der Universität Luxembourg zusammengeschlossen, um eine neue Klasse in hohem Maße automatisierter und leicht bedienbarer Tools zu entwickeln, die beim Design beweisbar korrekter Resilienz-Protokolle Unterstützung bieten. Um dies zu erreichen, setzen wir auf Co-Design von Protokollen mit komplexen Interaktionsformen, und basieren die Entwicklung unserer Tools auf den Beobachtungen während der Protokollentwicklung, mit dem Ziel ähnliche Aufgaben in Zukunft zu vereinfachen.

Gefördert durch die Deutsche Forschungsgemeinschaft (DFG) -513487900

Fördergeber

Fördergeber

Deutsche Forschungsgemeinschaft

Neuartige, am Körper getragene Geräte bieten neue, skalierbare Benutzerschnittstellen, die intuitiver und direkter zu bedienen sind. Allerdings birgt die körpernahe Ein- und Ausgabe ernsthafte neue Risiken für die Privatsphäre der Nutzer: Die großen Hand- und Fingergesten, die typischerweise für die Eingabe verwendet werden, sind wesentlich anfälliger für Beobachtung durch Dritte als die etablierten Formen der Toucheingabe. Das gilt in noch größerem Maße für visuelle Ausgabe am Körper. Dies ist besonders problematisch, da am Körper getragene Geräte typischerweise bei mobilen Aktivitäten in nicht-privaten Umgebungen verwendet werden. Das primäre Ziel dieses Projekts ist es, einen Beitrag zur Skalierbarkeit von On-Body-Computing in öffentlichen Umgebungen zu leisten, indem Interaktionstechniken für die Eingabe und Ausgabe privater Informationen entwickelt werden, die eine verbesserte Widerstandsfähigkeit gegenüber Verletzungen der Privatsphäre bieten. Im Mittelpunkt unseres Ansatzes steht das Ziel, die einzigartigen Interaktionseigenschaften des menschlichen Körpers zu nutzen: hohe manuelle Geschicklichkeit, hohe taktile Sensibilität und eine große verfügbare Oberfläche für Ein- und Ausgabe, gepaart mit der Möglichkeit, Ein- und Ausgabe durch variable Körperhaltung flexibel abzuschirmen. Diese Eigenschaften können die Grundlage für neue körperbasierte Ein- und Ausgabetechniken bilden, die skalierbar und (praktisch) unbeobachtbar sind. Dieses Ziel ist bisher weitgehend unerforscht. Es ist sehr anspruchsvoll aufgrund der neuen und höchst unterschiedlichen Formen und Skalierungen von körpernahen Geräten sowie der neuartigen Formen multimodaler Ein- und Ausgabe. Diese werden durch die inhärente Komplexität sozialer Umgebungen, die jeweilige Proxemik und die Aufmerksamkeit von Nutzern und Umstehenden weiter erschwert. Um einen Design-Raum für die Interaktionen zu erstellen, werden wir die Privatsphäre von taktiler Eingabe, visueller und haptischer Ausgabe an verschiedenen Körperstellen empirisch untersuchen, abhängig von der Körperhaltung und den proxemischen Konfigurationen. Anschließend werden wir systematisch körperbezogene Eingabegesten sowie skalierbare Techniken für multimodale Interaktion konzipieren und implementieren, die die Privatsphäre in sozialen Umgebungen hinsichtlich eines generalisierten Bedrohungsmodells wahren. Wir verwenden hierbei Aufmerksamkeitsmodelle, die den menschlichen Körper beinhalten. Die neuen Interaktionstechniken werden empirisch mit Nutzern in realistischen Szenarien und im Labor evaluiert, um zu bewerten, wie ihre Eigenschaften die Benutzerfreundlichkeit, den Datenschutz und die Skalierbarkeit beeinflussen. Beides wird uns helfen, die interne und externe Validität unseres Ansatzes zu verstehen. Wir erwarten, dass die Ergebnisse dieses Projekts wesentlich dazu beitragen werden, die Grundlagen für skalierbare körperbasierte Interaktionen zu schaffen, die die Privatsphäre wahren.

Gefördert durch die Deutsche Forschungsgemeinschaft (DFG) -521601028

Fördergeber

Fördergeber

Deutsche Forschungsgemeinschaft

Viele der heutigen kritischen Infrastrukturen, wie zum Beispiel Stromnetze oder Mobilfunknetze, sind verteilte Systeme. Sie bestehen aus autonomen Knoten, die über ein Peer-to-Peer-Netz verbunden sind. Ein zentrales Ziel der verteilten Datenverarbeitung ist solche Systeme fehlertolerant zu implementieren, um einzelne Fehlerpunkte zu vermeiden. Fehlertolerante Systeme bleiben sicher und verfügbar, auch wenn eine Minderheit von Knoten ausfällt oder falsche Informationen verbreitet.

Verteilte Systeme stützen sich häufig auf die Kryptografie, die sich als leistungsfähiges Werkzeug für Robustheit und Skalierbarkeit erwiesen hat. Trotz ihrer Vorteile kann die Kryptografie jedoch Leistungseinbußen verursachen oder zu Schwachstellen führen, wenn sie nicht vorsichtig eingesetzt wird. Diese beiden Aspekte erschweren den Einsatz in der Praxis erheblich. Infolgedessen verwenden viele reale Systeme sparsam mit der Kryptografie um, was zu mangelnder Robustheit und Skalierbarkeit führt.

CRYPTOSYSTEMS wird die Widerstandsfähigkeit und Effizienz verteilter Algorithmen, die das Herzstück vieler verteilter Systeme bilden, erheblich verbessern. Die Ziele des Projekts sind die Entwicklung und Erforschung formaler Sicherheitsmodelle für kryptographische verteilte Algorithmen, die reale Bedrohungen genau widerspiegeln. Außerdem wollen wir die Kryptographie nutzen, um robuste und skalierbare verteilte Algorithmen zu entwerfen, die die theoretischen Grenzen von Fehlern tolerieren. Dazu entwickeln wir außerdem neuartige Kryptografie, wie kompakte Signaturen und kommunikationseffiziente verteilte Zufallsgeneratoren, um die Effizienz und Sicherheit verteilter Algorithmen zu erhöhen. Diese Innovationen sind ein wichtiger Schritt auf dem Weg zu einem breiten Einsatz sicherer und skalierbarer verteilter Infrastrukturen.

Fördergeber

Die spezifischen Ziele des Fellowships umfassen die Entwicklung neuartiger Methoden und Systeme zur autonomen Ausnutzung von Binärprogrammen durch die Kombination von Programmanalyse, symbolischem Schließen und generativen KI-Modellen sowie die Erforschung entsprechender Gegenmaßnahmen und Verteidigungsmechanismen. Bis zum Ende des Fellowships wird von Nanda Rani erwartet, ein umfassendes Spektrum an Forschungsergebnissen vorzuweisen, darunter (i) Prototypen zur autonomen Binärausnutzung, die durch LLM-gestützte Schlussfolgerungsmechanismen angetrieben werden, (ii) Methoden zum Benchmarking und zur Evaluierung autonomer Ausnutzungssysteme anhand von CTF-ähnlichen und realen Binärprogrammen sowie (iii) kuratierte Datensätze und reproduzierbare Pipelines zum Training und Testen KI-gestützter Exploit-Generierung.

Fördergeber

Fördergeber

Impulse and Networking Fund from the Helmholtz Association

Das Forschungsprojekt „SisWiss“ zielt darauf ab, Unternehmen den sicheren und rechtskonformen Einsatz großer Sprachmodelle (LLM) zu ermöglichen. Diese Technologie bietet großes Potenzial, um verteilte Wissensbasen effizient zu nutzen und Einblicke in Geschäftsprozesse zu gewinnen. Gleichzeitig stellen LLMs ein Risiko dar, da sie sensible Informationen zugänglich machen können. Deshalb entwickelt das Projektteam praxisnahe Werkzeuge und Methoden zur Bewertung, Verbesserung und Zertifizierung von Sprachmodellen – basierend auf bestehenden Open-Source-Modellen.

Kernbestandteile des Projekts sind eine Softwarebibliothek sowie ein Testmodul zur Überprüfung der Robustheit gegenüber Angriffen, etwa durch manipulativ formulierte Eingaben. Zusätzlich werden theoretische Ansätze zur Zertifizierung nach EU-Rechtsvorgaben wie dem AI Act und Data Governance Act erforscht. Die Projektergebnisse sollen insbesondere kleinen und mittleren Unternehmen helfen, vertrauliche Daten innerhalb ihrer eigenen Infrastruktur zu verarbeiten, ohne auf externe Dienste angewiesen zu sein.

Insgesamt kombiniert das Projekt theoretische Ansätze zur Sicherheitszertifizierung von LLMs mit konkreten Sicherheitstests, sodass Unternehmen Sprachmodelle sicher und in Übereinstimmung mit bestehenden und geplanten EU-Vorschriften nutzen können.

Fördergeber

Fördergeber

Bundesministerium für Forschung, Technologie und Raumfahrt

Partner

Partner

Leibniz Universität Hannover

Leibniz Universität Hannover

Partner

L3S Research Center (L3S)

L3S Research Center (L3S)

Partner

AandBI.com GmbH (AandBI®)

AandBI.com GmbH (AandBI®)

Partner

Deutsches Forschungszentrum für Künstliche Intelligenz GmbH (DFKI)

Deutsches Forschungszentrum für Künstliche Intelligenz GmbH (DFKI)

Partner

Laverana GmbH & Co. KG (Laverana)

Laverana GmbH & Co. KG (Laverana)

Maschinelle Lernmodelle werden immer größer und komplexer, wodurch das Training zunehmend ressourcenintensiv wird. Gleichzeitig verändert sich unsere Welt – und damit fortlaufend auch die Trainingsdaten. Das erfordert eine permanente Aktualisierung oder Neu-Training der Modelle, um auf sich ändernde Datenverteilungen zu reagieren. Gegenwärtig ist der verlässlichste Weg, mit solchen Verteilungsverschiebungen umzugehen, das Modell komplett neu mit aktuellen Trainingsdaten zu trainieren. Das führt jedoch zu erheblichem Ressourcenverbrauch, einem größeren CO₂-Fußabdruck und erhöhtem Energieverbrauch – und beschränkt entscheidende Fortschritte im Bereich des maschinellen Lernens auf große Industrieakteure. Stellen wir uns eine Welt vor, in der Modelle einander beim Lernen unterstützen. Wenn sich die Datenverteilung ändert, wäre ein vollständiges Neutraining nicht nötig – vorausgesetzt, das neue Modell kann mithilfe verlässlicher und nachweislich effektiver Methoden vom veralteten Modell lernen. Darüber hinaus könnte die bisher übliche Praxis, sich auf große, vielseitige monolithische Modelle zu stützen, durch einen Zusammenschluss kleiner, spezialisierter Modelle ersetzt werden. Jedes bringt sein spezifisches Fachwissen ein, sobald es gebraucht wird. Durch diese Form der Dezentralisierung könnte der Ressourcenverbrauch gesenkt werden, da einzelne Komponenten unabhängig voneinander aktualisiert werden können. Basierend auf bahnbrechender Forschung im verteilten Training von ML-Modellen strebt CollectiveMinds danach, anpassungsfähige ML-Modelle zu entwickeln. Diese Modelle sollen sowohl effektiv auf Änderungen in den Trainingsdaten als auch auf Aufgabenmodifikationen reagieren können, gleichzeitig effizienten Wissensaustausch zwischen verschiedenen Modellen ermöglichen – und so großflächiges, kollaboratives Lernen fördern sowie ein nachhaltiges Rahmenwerk für kooperative künstliche Intelligenz bilden. Diese Initiative könnte Branchen wie das Gesundheitswesen revolutionieren, in denen Trainingsdaten oft begrenzt sind und vertrauenswürdige KI hohe Anforderungen an Datenbesitz und Kontrolle stellt. Darüber hinaus könnte sie die wissenschaftliche Zusammenarbeit verbessern. CollectiveMinds verkörpert damit einen bedeutenden Paradigmenwechsel hin zur Demokratisierung des maschinellen Lernens – mit Fokus auf kooperatives und gemeinsames Denken.

"Funded by the European Union. Views and opinions expressed are however those ofthe author(s) only and do not necessarily reflect those of the European Union. Neither the European Union nor the granting authority can be held re-sponsible for them."

Fördergeber

Fördergeber

Funded by the European Union

Das exponentielle Wachstum von Datensätzen und Modellen beim maschinellen Lernen erfordert skalierbare Optimierungsmethoden, um verteilte Systeme effizient zu nutzen. Dieser Antrag befasst sich mit den Herausforderungen der verteilten Deep Learning Optimierung, insbesondere in nicht-konvexen Umgebungen. Herkömmliche Optimierungsmethoden und Erkenntnisse aus der konvexen Optimierung lassen sich nicht gut auf diese Szenarien verallgemeinern, was zu Ineffizienzen und er-höhtem Ressourcenverbrauch führt. Unsere Forschung zielt darauf ab, neue Optimierungsverfahren zu entwickeln und zu validieren, die den einzigartigen Herausforderungen des verteilten Deep Learning gewachsen sind. Wir werden uns auf skalierbare föderierte Lern- und dezentrale Optimierungsmethoden konzentrieren und dabei kritische Themen wie Driftkorrektur, Regeln für die Parameterskalierung und die Integration fortschritt-licher neuronaler Netzwerkarchitekturen wie Transformatoren angehen. Durch Benchmarking dieser Techniken in verschiedenen simulierten Umgebungen und realen Anwendungen wollen wir umfas-sende Richtlinien ableiten, die die Effizienz und Skalierbarkeit des verteilten Deep Learning verbes-sern. Unser interdisziplinäres Team vereint Fachwissen in den Bereichen stochastische Optimierung, föderiertes Lernen und Training neuronaler Netze und gewährleistet so einen umfassenden Ansatz zur Lösung dieser komplexen Probleme. Die Ergebnisse dieses Projekts werden einen wichtigen Beitrag zum Bereich des verteilten maschinellen Lernens leisten, indem sie praktische Lösungen für effizientes Training von großen Modellen bieten, was wiederum dazu beitragen wird, den CO2-Fussabdruck des Deep Learning zu verringern. 

Fördergeber

Fördergeber

Gefördert durch die Deutsche Forschungsgemeinschaft (DFG) – 553954458

Autonome Fahrzeuge treffen auf den Straßen autonom Steuerentscheidungen basierend auf KI-basierter Verarbeitung diverser Sensordaten. Mögliche böswillige Angriffe können zu Unfällen aufgrund falscher Manöver autonomer Fahrzeuge führen und müssen daher bei der Diskussion um die Zuverlässigkeit solcher Systeme zusammen mit Gegenmaßnahmen systematisch erforscht werden.

In diesem Projekt werden die Auswirkungen von Manipulationen auf aktuelle Sensoren und Sensorverarbeitungspipelines analysiert. Darüber hinaus werden sichere Plattformen für Sensordatenverarbeitung entworfen und implementiert sowie deren Wirksamkeit bei der zuverlässigen Abwehr von Manipulations- und Kompromissversuchen demonstriert. Das resultierende Design einer sicherheitsorientierten Plattform wird als Referenz für zukünftige Forschung und Produktentwicklung in diesem Bereich dienen. 

Wir gehen das Problem aus drei komplementären Forschungsrichtungen an: Verteidigung gegen physische Sensormanipulationen, Erkennung und Verhinderung von Manipulationen in der Sensorfusion-Pipeline und Vertrauenswürdige Verarbeitungsplattformen für die Automobil-branche. Lösungen zu einzelnen Themen wer-den zuerst theoretisch analysiert, dann in Simulationen auf ihre Wirksamkeit überprüft. Parallel zu der Bedrohungsanalyse und der Entwicklung der Gegenmaßnahmen werden wir unsere praktische Demonstratorenplattform entwickeln und umsetzen

Fördergeber

Fördergeber

Bundesministerium für Digitales und Verkehr

Ziel dieses Graduiertenkollegs (RTG) ist die Entwicklung neuartiger neuroexpliziter Modelle, die Aufgaben in den Bereichen natürliche Sprachverarbeitung, Computer Vision und Handlungs-Entscheidungsfindung präzise lösen können, sowie die Erforschung der theoretischen und praktischen Prinzipien für das Design effektiver neuroexpliziter Modelle. Wir werden drei Kohorten von Doktorand:innen ausbilden, die auf höchstem internationalen Niveau an diesen Modellen forschen und als hochqualifizierte Absolvent*innen sowohl für den akademischen als auch den industriellen Arbeitsmarkt hervorragend vorbereitet sein werden. In den letzten zehn Jahren haben tiefe neuronale Modelle die Informatik revolutioniert und neue Maßstäbe dafür gesetzt, was künstliche Intelligenz leisten kann. Im Gegensatz dazu stehen explizite Modelle, die darauf ausgelegt sind, Wissen über einen bestimmten Bereich oder eine bestimmte Aufgabe mithilfe von Repräsentationen zu erfassen, die von menschlichen Expert:innen verstanden und gestaltet werden können. Neuroexplizite Modelle kombinieren neuronale und explizite Komponenten mit dem Ziel, die Stärken beider Modelltypen zu vereinen. Zu expliziten Modellen zählen symbolische Modelle, etwa in der Computerlinguistik oder der Handlungsplanung, aber auch Ansätze im Bereich Computer Vision, die die Physik der Welt durch differenzierbare Gleichungen modellieren. Neuroexplizite Modelle umfassen somit auch neurosymbolische Modelle, die in vielen Bereichen der KI in letzter Zeit an Popularität gewinnen. Trotz des wachsenden internationalen Interesses wird dieses RTG das erste Forschungszentrum und insbesondere das erste strukturierte Promotionsprogramm für neuroexplizite Methoden in Europa sein. Neuronale Modelle übertreffen rein explizite Modelle in Bezug auf Genauigkeit und Skalierbarkeit deutlich. Gleichzeitig haben sie jedoch eigene Einschränkungen, insbesondere hinsichtlich der Generalisierung (also der Fähigkeit, erlernte Abstraktionen auf verwandte Aufgaben zu übertragen), der Robustheit gegenüber Störungen im Input und der Interpretierbarkeit. Wie die beteiligten Forschenden dieses RTG sowie andere gezeigt haben, können neuroexplizite Modelle helfen, diese Schwächen zu überwinden. Allerdings müssen die Konstruktionsherausforderungen neuroexpliziter Modelle derzeit für jede neue Aufgabe von Grund auf neu angegangen werden, und die grundlegenden Gestaltungsprinzipien solcher Modelle sind noch nicht gut verstanden. Dies macht die Entwicklung neuer neuroexpliziter Modelle aufwändig und erfordert viele Experimente, um ein funktionierendes Modell zu erhalten. In diesem RTG werden wir durch die interdisziplinäre Zusammenarbeit von Doktorand*innen aus verschiedenen Bereichen der Künstlichen Intelligenz Gestaltungsprinzipien für effektive neuroexplizite Modelle erarbeiten und so die Entwicklung effizienter und präziser neuroexpliziter Modelle in der Zukunft beschleunigen.

Fördergeber

Fördergeber

Funded by the Deutsche Forschungsgemeinschaft (DFG, Ger-man Research Foundation) – Project number: 471607914

Partner

Partner

Universität des Saarlandes

Akuter ischämischer Schlaganfall bleibt eine der führenden Ursachen für Behinderung und Tod, wobei aktuelle Reperfusions­therapien durch enge Zeitfenster und eine variierende Wirksamkeit eingeschränkt sind. Wir schlagen ein erklärbares, auf U-Net basierendes Modell vor, das multimodale Daten – Demografie, klinische Scores, Biomarker und Bildgebung – innerhalb einer dezentralen Swarm-Learning-Infrastruktur integriert, um Patient:innen für eine mechanische Thrombektomie basierend auf 90-Tage-Ergebnisprognosen zu stratifizieren.

Durch den Aufbau eines skalierbaren Swarm-Learning-Netzwerks über Zentren des Deutschen Schlaganfallregisters ermöglichen wir eine datenschutzkonforme Nutzung von Datensätzen und verbessern gleichzeitig die Generalisierbarkeit des Modells auf aktuelle, heterogene Real-World-Daten.

Zur Gewährleistung von Erklärbarkeit und Vertrauenswürdigkeit der Modelle vergleichen wir die Merkmalswichtigkeit (Feature Importance) zwischen dezentralen, lokalen und zentralen Modellen, verwenden Saliency Maps zur Lokalisierung bildbasierter Vorhersagen und identifizieren leistungsschwache Subgruppen, um eine Spezialisierung des Modells zu ermöglichen.

Insgesamt liefert unser Framework eine personalisierte Risikobewertung zur Optimierung der Patientenselektion und stellt gleichzeitig eine nachhaltige und skalierbare Pipeline für KI-gestützte Diagnostik und Prognostik in Schlaganfallzentren über unser Swarm-Learning-Netzwerk bereit.

Fördergeber

Fördergeber

Impuls- und Vernetzungsfonds der Helmholtz-Gemeinschaft

In den letzten Jahren sind neuartige KI-gestützte Programmierassistenten, die auf großen Sprachmodellen (LLMs) basieren, beim Erstellen von Code äußerst populär geworden. Allerdings entfällt mindestens 50 % des Aufwands in der Softwareentwicklung auf das Verstehen und Warten bestehender Software – Aufgaben, die für LLMs nach wie vor große Herausforderungen darstellen. Dies liegt daran, dass die meisten Wartungsaufgaben mit dem dynamischen Verhalten von Programmen zusammenhängen, welches durch das Lernen ausschließlich aus statischem Code unzureichend erfasst wird. Das Verstehen, wie die einzelnen Komponenten eines großen Programms zusammenarbeiten, kann menschlichen Experten Monate bis Jahre in Anspruch nehmen.

Im Rahmen unseres ERC Advanced Grants „S3 – Semantics of Software Systems“ haben wir innovative Techniken entwickelt, um Softwaresysteme systematisch zu testen und ihr Verhalten umfassend zu erforschen. Dadurch können wir die dynamischen Eigenschaften von Eingaben, Ausgaben und Ausführungen erfassen und programmspezifische maschinelle Lernmodelle trainieren, die diese zueinander in Beziehung setzen. Das resultierende Modell kann dann Wartungsfragen beantworten wie „Welche Konfigurationseingabe benötige ich, damit dieser Button grün wird?“ oder „Welche Eingabe löst diese Fehlermeldung aus?“

Unsere zugrunde liegende Forschung hat bereits die prinzipielle Machbarkeit dieses Ansatzes gezeigt, war jedoch auf kleine Beispiele beschränkt. Die Frage ist, ob diese Ansätze auf die Vielzahl von Merkmalen skalieren, die bei der Ausführung eines komplexen Programms auftreten. Ziel dieses Proof-of-Concept-Antrags ist es daher, einen Demonstrator eines Programmspezifischen Agenten zu erstellen, der automatisch aus einem nicht-trivialen Softwarestück trainiert wird und mit hoher Genauigkeit wartungsbezogene Fragen beantworten kann.

Das Training eines solchen Agenten für auch nur ein einziges Softwarestück wird erhebliche Ressourcen erfordern, weshalb dieser Förderantrag gestellt wird. Ein derart trainierter Agent wird jedoch solange als Experte für das Verhalten der Software agieren, wie diese existiert, und verspricht damit erhebliche Kosteneinsparungen für die Zukunft der Softwareentwicklung.

Funded by the European Union. Views and opinions expressed are however those of the author(s) only and do not necessarily reflect those of the European Union or [name of the granting authority]. Neither the European Union nor the granting authority can be held responsible for them.

Fördergeber

Fördergeber

European Union - EU – Proof of Concept (ERC-2025-PoC)

Programme nutzen Zeichenketten (Strings), um alle Arten von Textdaten darzustellen: Namen, Kreditkartennummern, E-Mail-Adressen, URLs, Bankkonten, Farbcodes und vieles mehr.

Programmiersprachen bieten jedoch nur wenig Unterstützung, um zu überprüfen, ob der Inhalt dieser Strings auch tatsächlich den Erwartungen entspricht. Dies kann nicht nur zu Funktionsfehlern, sondern auch zu häufigen Angriffen wie Skript- oder SQL-Injektionen führen. In diesem Antrag führen wir String-Typen ein; ein Mittel, um die gültigen Werte von Strings mit Hilfe von formalen Sprachen wie regulären Ausdrücken und Grammatiken auszudrücken. Wir führen Verfahren ein, um zu spezifizieren, welche Mengen von Strings als Werte akzeptabel sind, und um dynamisch und statisch zu prüfen, ob das Programm in Bezug auf die spezifizierten String-Typen korrekt ist. Da es sich um formale Sprachen handelt, ermöglichen String-Typen auch das Erzeugen von Instanzen aus diesen Spezifikationen.

Hiermit wird ein massives automatisiertes Testen von String-Verarbeitungsfunktionen mit gültigen Eingaben möglich, wobei String-Typen wiederum String-Ergebnisse auf lexikalische, syntaktische und semantische Korrektheit prüfen. Schließlich führen wir Mittel ein, um solche Spezifikationen aus dem Code und seinen Ausführungen zu erlernen, so dass String-Typen leicht einzuführen sind. Das Konsortium bringt umfangreiche Erfahrung in der statischen Analyse von Parsing-Code, der Generierung von Unit-Tests und Orakeln sowie sprachbasierter Spezifikation und Testen mit. Ihre gemeinsame Expertise wird dieses Vorhaben zum Erfolg führen.

Fördergeber

Fördergeber

Gefördert durch die Deutsche Forschungsgemeinschaft (DFG) -535740946

Hepatitis D ist die bei weitem schwerste Form der chronischen Virushepatitis, die häufig zu Leberversagen, hepatozellulärem Karzinom und Tod führt. Hepatitis D wird durch eine Koinfektion von Hepatitis-B-Patienten mit dem Hepatitis-D-Virus (HDV) verursacht. Weltweit sind bis zu 20 Millionen Menschen mit HDV infiziert, darunter etwa 250 000 Patienten in der Europäischen Union. Es gibt nur sehr wenige Erkenntnisse über die Pathophysiologie der Krankheit und die Wechselwirkungen zwischen Wirt und Virus, die die große interindividuelle Variabilität im Verlauf der Hepatitis D erklären. Insbesondere ist nicht bekannt, warum 20-50 % der Patienten spontan in der Lage sind, die HDV-Replikation zu kontrollieren, warum die meisten, aber nicht alle Patienten ein fortgeschrittenes Stadium der Lebererkrankung erreichen und warum nur einige Patienten auf eine antivirale Behandlung mit pegyliertem Interferon alpha oder dem neuen HBV/HDV-Eintrittsinhibitor Bulevirtid ansprechen. Da es sich bei HDV um eine Seltene Krankheit handelt, gibt es keine multizentrischen Kohorten von HDV-infizierten Patienten mit geeigneten Biobanken. Es gibt auch kein zuverlässiges tierisches Modell, an dem die Reaktionen des Wirtes untersucht werden könnten. Daher besteht ein dringender klinischer, sozialer und wirtschaftlicher Bedarf an einem besseren Verständnis der individuellen Faktoren, die den Verlauf der Infektion bestimmen, und an der Ermittlung von Patienten, die von den derzeit verfügbaren Behandlungen profitieren. Hepatitis D ist eine Prototyp-Infektion, die von einem neuen individualisierten infektionsmedizinischen Ansatz enorm profitieren könnte. Unser Ziel ist es, ein unvoreingenommenes Screening einer großen multizentrischen Kohorte gut definierter HDV-infizierter Patienten durchzuführen, gefolgt von mechanistischen Studien zur Bestimmung der funktionellen Rolle bestimmter Moleküle. Die identifizierten spezifischen Parameter könnten unmittelbare Auswirkungen auf die personalisierten Überwachungsstrategien und antiviralen Behandlungsansätze haben. D-SOLVE zielt darauf ab, die Last der Krankheit zu verringern, die Lebensqualität der Patienten zu verbessern und die durch HDV-Infektionen verursachten direkten und indirekten Kosten zu senken, indem hervorragende klinische, immunologische, bioinformatische und virologische Fachkenntnisse aus führenden europäischen Zentren kombiniert werden.

Fördergeber

Fördergeber

European Health and Digital Executive Agency (HADEA)

Dieses Projekt wird die Grundlagen für datenschutzwahrende Verfahren zur Überprüfung der KI-Sicherheit entwickeln. Dadurch wird es möglich, Sicherheitsgarantien von KI-Systemen zu verifizieren, ohne sensible Details über das zugrunde liegende Modell oder die verwendeten Daten offenzulegen. Die Technologie wird mathematische Nachweise liefern, dass KI-Systeme Sicherheitsanforderungen einhalten und gleichzeitig die Vertraulichkeit ihrer Modelle und Daten wahren – ein entscheidender Aspekt in Anwendungsbereichen, in denen sowohl Sicherheit als auch Datenschutz von zentraler Bedeutung sind.

Fördergeber

Fördergeber

Advanced Research and Invention Agency (ARIA, UK)

Partner

Partner

University of Birmingham