Deepfakes jsou novou aplikací umělé inteligence s významným dopadem na počítačovou bezpečnost. Jejich tvorba je stále snazší než kdykoli předtím a tyto nástroje lze využít k oklamání jednotlivců i organizací, zejména v kombinaci s taktikami sociálního inženýrství, jako je phishing. Tento projekt se proto zaměřuje na pochopení možných způsobů použití a souvisejících hrozeb při zákeřném používání hlasových deepfakes se záměrem najít spolehlivé strategie pro zmírnění těchto hrozeb. Tím můžeme zajistit, aby tyto inovace byly využívány eticky a zodpovědně, a vytvořit tak udržitelnější a spravedlivější budoucnost pro všechny. Aktivity projektu jsou zaměřeny na 3 oblasti: zvýšení odolnosti hlasových biometrických systémů vůči útokům typu deepfakes spoofing, vytvoření nástrojů umožňující boj proti škodlivému použití hlasových deepfakes a vyhodnocení schopnosti lidí rozpoznat hlasové deepfakes a nalezení způsobů, jak zvýšit bezpečnostní povědomí uživatelů.

Description in English
Deepfakes are a new application of artificial intelligence with a significant impact on computer security. They are becoming easier than ever to create, and these tools can be used to deceive individuals and organizations, especially when combined with social engineering tactics such as phishing.  This project therefore focuses on understanding the possible uses and associated threats in the malicious use of voice deepfakes, with the intention of finding reliable strategies to mitigate these threats. By doing so, we can ensure that these innovations are used ethically and responsibly, creating a more sustainable and fairer future for all.  Its activities are focused on three main areas: enhancing the robustness of voice biometric systems against voice deepfake spoofing attacks, creating tools to counter the malicious use of voice deepfakes, and evaluating people's ability to recognize voice deepfakes, while also finding ways to increase users' security awareness.

Keywords
Deepfakes; umělá inteligence; počítačová bezpečnost

Key words in English
Deepfakes; artificial intelligence; computer security

VB02000060

Czech

Kudla Radim, Ing. - principal person responsible
Brukner Jan, Ing. - fellow researcher
Burget Lukáš, doc. Ing., Ph.D. - fellow researcher
Černocký Jan, prof. Dr. Ing. - fellow researcher
Firc Anton, Ing. - fellow researcher
Foltyn Lukáš, Bc. - fellow researcher
Halas Jaromír - fellow researcher
Hanáček Petr, doc. Dr. Ing. - fellow researcher
Knapovský Jan, Bc. - fellow researcher
Kotolan Martin - fellow researcher
Matějka Pavel, Ing., Ph.D. - fellow researcher
Mihola David, Bc. - fellow researcher
Plchot Oldřich, Ing., Ph.D. - fellow researcher
Polok Alexander, Ing. - fellow researcher
Reš Jakub, Ing. - fellow researcher
Rohdin Johan Andréas, M.Sc., Ph.D. - fellow researcher
Schwarz Petr, Ing., Ph.D. - fellow researcher
Silnova Anna, M.Sc., Ph.D. - fellow researcher
Staněk Vojtěch, Ing. - fellow researcher
Šalko Milan, Ing. - fellow researcher

Department of Computer Graphics and Multimedia
- responsible department (20.4.2023 - not assigned)
Department of Intelligent Systems
- co-beneficiary (20.4.2023 - 31.12.2026)
Department of Computer Graphics and Multimedia
- beneficiary (20.4.2023 - 31.12.2026)

ROHDIN, J.; ZHANG, L.; PLCHOT, O.; STANĚK, V.; MIHOLA, D.; PENG, J.; STAFYLAKIS, T.; BEVERAKI, D.; SILNOVA, A.; BRUKNER, J.; BURGET, L. BUT systems and analyses for the ASVspoof 5 Challenge. Proceedings of ASV spoof 2024 Workshop. Kos Island: International Speech Communication Association, 2024. p. 24-31.
Detail

POLOK, A.; KLEMENT, D.; HAN, J.; SEDLÁČEK, Š.; YUSUF, B.; MACIEJEWSKI, M.; WIESNER, M.; BURGET, L. BUT/JHU System Description for CHiME-8 NOTSOFAR-1 Challenge. Proceedings of CHiME 2024 Workshop. Kos Island: International Speech Communication Association, 2024. p. 18-22.
Detail

WANG, S.; CHEN, Z.; HAN, B.; WANG, H.; XIANG, X.; ROHDIN, J.; SILNOVA, A.; QIAN, Y.; LI, H. Advancing speaker embedding learning: Wespeaker toolkit for research and production. Speech Communication, 2024, vol. 162, no. 103104, p. 1-12. ISSN: 0167-6393.
Detail

ALAM, J.; BARAHONA QUIRÓS, S.; BOBOŠ, D.; BURGET, L.; CUMANI, S.; DAHMANE, M.; HAN, J.; HLAVÁČEK, M.; KODOVSKÝ, M.; LANDINI, F.; MOŠNER, L.; PÁLKA, P.; PAVLÍČEK, T.; PENG, J.; PLCHOT, O.; RAJASEKHAR, P.; ROHDIN, J.; SILNOVA, A.; STAFYLAKIS, T.; ZHANG, L. ABC SYSTEM DESCRIPTION FOR NIST SRE 2024. Proceedings of NIST SRE 2024. San Juan: National Institute of Standards and Technology, 2024. p. 1-9.
Detail

STAFYLAKIS, T.; SILNOVA, A.; ROHDIN, J.; PLCHOT, O.; BURGET, L. Challenging margin-based speaker embedding extractors by using the variational information bottleneck. In Proceedings of Interspeech 2024. Proceedings of Interspeech. Kos: International Speech Communication Association, 2024. p. 3220-3224. ISSN: 1990-9772.
Detail

Responsibility: Kudla Radim, Ing.