ELOQUENCE aims to research and develop new technologies supporting collaborative voice/chat bots for both low secure (low risk) and highly secure (high risk) applications. Dialogue engines powered by voice assistants have already been present in various commercial/governmental applications with lower or higher level complexities. In both cases, this complexity can be translated to a problem of analysing unstructured dialogues. Key objective of ELOQUENCE is to understand unstructured dialogues and conduct them in an explainable, safe, knowledge-grounded, trustworthy and unbiased way, while considering and building on top of prior achievements in this domain (e.g. recently launched chatGPT Large Language Models (LLMs). While including key industrial enterprises from Europe in this project (i.e. Omilia, Telefonica. ...) will approach safety with human-in-the-loop for safety-critical applications (i.e., emergency services) and via information retrieval and fact-checking against an online knowledge base for less critical autonomous systems (i.e., home-assistants). ELOQUENCE will target the R&D of these novel conversational AI technologies in multilingual and multimodal environments. Both basic research and its direct deployment through two pilots will be targeted: 1) emergency call contact centres and 2) smart assistants through decentralised training in smart homes.

Popis česky
ELOQUENCE se zaměřuje na výzkum a vývoj nových technologií podporujících kolaborativní hlasové/chatové roboty pro aplikace s nízkým (nízké riziko) i vysokým (vysoké riziko) zabezpečením. Dialogové motory poháněné hlasovými asistenty se již vyskytují v různých komerčních/vládních aplikacích s nižší nebo vyšší úrovní složitosti. V obou případech lze tuto složitost převést na problém analýzy nestrukturovaných dialogů. Klíčovým cílem projektu ELOQUENCE je porozumět nestrukturovaným dialogům a vést je vysvětlitelným, bezpečným, znalostně podloženým, důvěryhodným a nezaujatým způsobem, přičemž je třeba zohlednit a navázat na předchozí úspěchy v této oblasti (např. nedávno spuštěný chatGPT Large Language Models (LLM). Při zapojení klíčových průmyslových podniků z Evropy do tohoto projektu (tj. Omilia, Telefonica. ...) bude k bezpečnosti přistupováno pomocí člověka ve smyčce pro aplikace kritické z hlediska bezpečnosti (tj. záchranné služby) a prostřednictvím vyhledávání informací a ověřování faktů na základě online znalostní báze pro méně kritické autonomní systémy (tj. domácí asistenti). ELOQUENCE se zaměří na výzkum a vývoj těchto nových konverzačních technologií umělé inteligence ve vícejazyčných a multimodálních prostředích. Zaměří se jak na základní výzkum, tak na jeho přímé nasazení prostřednictvím dvou pilotních projektů: 1) kontaktní centra tísňového volání a 2) inteligentní asistenti prostřednictvím decentralizovaného školení v inteligentních domácnostech.

Klíčová slova
Human computer interaction and interface, visualization and natural language, artificial intelligence, intelligence systems, multi agents systems, natural language processing, data protection and privacy, machine learning, statistical data processing and applications using data processing, formal, cognitive, functional and computational linguistics, distributed and federated adaptation of Large Language Models, Multilinguality, Multimodality, Human-in-the-loop, Bias mitigation, Grounding.

angličtina

Plchot Oldřich, Ing., Ph.D. - hlavní řešitel
Beneš Karel, Ing. - spoluřešitel
Fajčík Martin, Ing., Ph.D. - spoluřešitel
Heřmanský Hynek, prof. Ing., Dr. Eng. - spoluřešitel
Kesiraju Santosh, Ph.D. - spoluřešitel
Peng Junyi - spoluřešitel
Pešán Jan, Ing. - spoluřešitel
Rohdin Johan Andréas, M.Sc., Ph.D. - spoluřešitel
Sarvaš Marek, Ing. - spoluřešitel
Sedláček Šimon, Ing. - spoluřešitel
Valentini Francisco Tomas, BSc - spoluřešitel
Yusuf Bolaji - spoluřešitel

Ústav počítačové grafiky a multimédií
- odpovědné pracoviště (21.3.2023 - nezadáno)
Výzkumná skupina dolování dat z řeči BUT Speech@FIT
- interní (21.3.2023 - 31.12.2026)
Ústav počítačové grafiky a multimédií
- spolupříjemce (21.3.2023 - 31.12.2026)

Odpovědnost: Plchot Oldřich, Ing., Ph.D.