Project detail

Parallel system performance prediction and tuning

Duration: 01.01.2002 — 31.12.2004

Funding resources

Czech Science Foundation - Standardní projekty

- whole funder (2002-01-01 - 2004-12-31)

On the project

Cílem projektu je vývoj technik predikce výkonnosti paralelních systémů všech druhů a následné ladění výkonnosti paralelních aplikací běžících na reálných systémech. Predikční techniky budou vyvinuty pro architektury jak se zasíláním zpráv, tak se sdílenou pamětí a postaveny na kalkulu komunikujících sekvenčních procesů (CSP), v němž je popis ve srovnání s jinými prostředky (Petriho sítě, CCS, komunikující stroje X) nejstručnější. Projekt je zaměřen na použití celosvětově používaného simulačního nástroje Transim založeného na CSP v nejširším možném spektru reálných a realistických architektur SW/HW. Hlavní výsledky lze očekávat v predikci a ladění výkonnosti v číslicovém zpracování signálů a obrazů, v diskrétní optimalizaci a v řešení velkých, hustých i řídkých, systémů lineárních rovnic. Paralelní platformy relevantní pro tento projekt jsou svazky pracovních stanic a PC, symetrické multiprocesory SMP a vestavěné paralelní systémy s DSP včetně čipových multiprocesorů a úplných systémů na čipu (SoC). Ladění výkonnosti založené na predikci umožní rychlé srovnání různých architektur HW/SW multiprocesorů a slibné alternativy pak budou naprogramovány (v MPI nebo OpenMP kvůli přenositelnosti) a reálně testovány. Projekt se také bude věnovat obtížnému tématu spravedlivého porovnání výkonnosti zcela různých paralelních systémů, metodám vyrovnávání zátěže a redukci komunikační a synchronizační režie.

Description in English
The goal of the project is the development of performance prediction techniques for parallel systems of all  kinds and tuning the performance of parallel applications running on real machines. Prediction techniques are to be developed both for message passing as well as shared memory architectures and built upon the calculus of communicating sequential processes (CSP), which yields the most concise description if compared to other tools (like Petri nets, CCS, communicating X-machines, etc.). The project aims at utilization of CSP-based simulation tool Transim used world-wide in the widest possible spectrum of real and realistic SW/HW architectures. The main results are expected in performance prediction and tuning in digital signal and image processing, discrete optimization, and in solution of large dense and sparse systems of linear equations. Parallel platforms relevant for this project are clusters of  workstations and PCs, symmetrical multiprocessors SMP and DSP-based embedded parallel systems including chip multiprocessors and complete Systems on Chip (SoC). Prediction-based  performance  tuning will lead to the fast comparison of various multiprocessor HW/SW architectures  and promising alternatives will then be coded (in MPI or OpenMP for portability) and put under the real test . The project will also address  a difficult issue of fair performance comparison of entirely different parallel systems, methods of load balancing, and reduction of communication and synchronization overhead.

Keywords
Paralelní zpracování, simulace paralelních výpočtů, predikce výkonnosti, ladění výkonnosti

Key words in English
Parallel processing, simulation of parallel computing, performance prediction, performance tuning

Mark

GA102/02/0503

Default language

Czech

People responsible

Dvořák Václav, prof. Ing., DrSc. - principal person responsible

Units

Faculty of Information Technology
- beneficiary (2002-01-01 - 2004-12-31)

Results

KUTÁLEK, V.; DVOŘÁK, V. Simulation and Prototyping Multiprocessor SoC with Hybrid Pipeline/Farm Architecture. Proceedings of IEEE Design and Diagnostics of Electronic Circuits and System Workshop. Brno: Faculty of Information Technology BUT, 2002. p. 296-299. ISBN: 80-214-2094-4.
Detail

SCHWARZ, J. Bayesovské evoluční algoritmy s aplikacemi v úlohách dekompozice a alokace, habilitační práce. Brno: Fakulta informačních technologií VUT v Brně, 2003. s. 1-124.
Detail

DVOŘÁK, V. Executable System-Level Specifications of HW/SW Architecture for Embedded Multiprocessor Systems. Proceedings of the Joint Workshop on Formal Specifications of Computer-Based Systems, 2002. Stirling: University of Stirling, 2002. p. 65-70. ISBN: 1-85769-169-5.
Detail

KUTÁLEK, V.; DVOŘÁK, V. Prototyping Parallel Applications Based on Divide and Conquer Strategy. Proceedings of 36th International Conference MOSIS '02 Modelling and Simulation of Systems. Vol. I. Ostrava: 2002. p. 313-320. ISBN: 80-85988-71-2.
Detail

SCHWARZ, J.; OČENÁŠEK, J. Ratio cut hypergraph partitioning using BDD based MBOA optimization algorithm. Proceedings of IEEE Design and Diagnostics of Electronic Circuits and Systems Workshop. Brno: Faculty of Informatics and Information Technology Slovak University of Technology in Bratislava, 2002. p. 87-96. ISBN: 80-214-2094-4.
Detail

SCHWARZ, J.; OČENÁŠEK, J. Bayes-Dirichlet BDD as a probabilistic model for logic functions and evolutionary circuit decomposer. Mendel 2002. Brno: Faculty of Mechanical Engineering BUT, 2002. p. 117-124. ISBN: 80-214-2135-5.
Detail

DVOŘÁK, V. Simulation and Prototyping in Teaching Parallel Architectures, Algorithms, and Programming Models. Proceedings of the International Conference on Parallel and Distributed Processing Techniques and Applications. Volume II. Las Vegas, Nevada: Computer Science Research, Education, and Applications Press, 2002. p. 934-940. ISBN: 1-892512-88-2.
Detail

STAROBA, J.; DVOŘÁK, V. Parallel Linear Equations Solvers for Scientific Simulation: Cluster and SMP Experience. Proceedings of XXIVth International Autumn Colloquium ASIS'02 Advanced Simulation of Systems. Ostrava: 2002. p. 225-230. ISBN: 80-85988-77-1.
Detail

KUTÁLEK, V. Modelování a predikce výkonnosti aplikačně-specifických multiprocesorových systémů. Počítačové Architektury & Diagnostika Pracovní seminář pro studenty doktorského studia Sborník příspěvků. Brno: Fakulta informačních technologií VUT v Brně, 2003. s. 67-72. ISBN: 80-214-2471-0.
Detail

DVOŘÁK, V. Communication Architectures for Application-Specific Multiprocessor Systems (on a Chip). Proc. of the 11th International Conference on Software, Telecommunications and Computer Networks SoftCOM 2003. Split: Faculty of Electrical Engineering, Mechanical Engineering and Naval Architecture, 2003. p. 778-782. ISBN: 953-6114-64-X.
Detail

KUTÁLEK, V.; DVOŘÁK, V. A multi-protocol cache controller. IFAC Workshop on Programmable devices and systems - PDS 2003. Ostrava: VŠB - Technical University of Ostrava, 2003. p. 220-225. ISBN: 0-08-044130-0.
Detail

KUTÁLEK, V.; DVOŘÁK, V. Tuning Parallel Performance of Global Image Processing Operators. Proceedings of 37th International Conference MOSIS´03 Modelling and Simulation of Systems. Ostrava: 2003. p. 57-64. ISBN: 80-85988-86-0.
Detail

OČENÁŠEK, J.; SCHWARZ, J.; PELIKÁN, M. Design of Multithreaded Estimation of Distribution Algorithms. Procceedings of GECCO 2003, USA. Chicago: Kluwer Verlag, 2003. p. 1247-1258. ISBN: 3-540-40-603-4.
Detail

SCHWARZ, J.; OČENÁŠEK, J. ACCELERATED BAYESIAN OPTIMIZATION ALGORITHMS FOR ADVANCED HYPERGRAPH PARTITIONING, accepted paper. Procceedings of MENDEL 2003. Brno: Faculty of Mechanical Engineering BUT, 2003. p. 133-141. ISBN: 80-214-2411-7.
Detail

DVOŘÁK, V.; KUTÁLEK, V. A Methodology for Designing Communication Architectures for Multiprocessor SoCs. Proceedings EUROMICRO Symposium on Digital System Design - Architectures, Methods and Tools DSD 2003. Belek: IEEE Computer Society, 2003. p. 455-458. ISBN: 0-7695-2003-0.
Detail

STAROBA, J.; DVOŘÁK, V. Genetic Algorithm Optimization of Group Communications. 9th International Conference on Soft Computing Mendel 2003. Brno: Faculty of Mechanical Engineering BUT, 2003. p. 47-52. ISBN: 80-214-2411-7.
Detail

STAROBA, J.; DVOŘÁK, V. Design of Low-Cost Communication Algorithms for Irregular Networks. Proceedings of the 3rd International Conference on Networking ICN '04. Colmar: University of Haute Alsace, 2004. p. 980-985. ISBN: 0-86341-325-0.
Detail

DVOŘÁK, V. Formal Specifications of an Extended Phase-Parallel Model of Stream Processing. Proc. of Joint Workshop on Formal Specifications of Computer-Based Systems. Stirling: University of Stirling, 2004. p. 37-44. ISBN: 1-85769-1970.
Detail

JAROŠ, J.; SCHWARZ, J. Development tools for rapid prototyping of evolutionary algorithms. Proceedings of 38th International conference MOSIS'04. Rožnov pod Radhoštěm: 2004. p. 97-104. ISBN: 80-85988-98-4.
Detail

OHLÍDAL, M.; SCHWARZ, J. Parallel Simulated Annealing Applied to the Traveling Salesman Problem. Proceedings of 38th International conference MOSIS'04. Rožnov pod Radhoštěm: 2004. p. 155-162. ISBN: 80-85988-98-4.
Detail

SCHWARZ, J.; OČENÁŠEK, J.; JAROŠ, J. Advanced Bayesian Optimization Algorithms Applied in Decomposition Problems. In Proceedings of ECBS 2004. Los Alamitos: IEEE Computer Society, 2004. p. 102-111. ISBN: 0-7695-2125-8.
Detail

OHLÍDAL, M.; SCHWARZ, J. HYBRID PARALLEL SIMULATED ANNEALING USING GENETIC OPERATIONS. Mendel 2004 10th Internacional Conference on Soft Computing. Brno: Faculty of Mechanical Engineering BUT, 2004. p. 89-94. ISBN: 80-214-2676-4.
Detail

SCHWARZ, J.; JAROŠ, J. A PROBLEM KNOWLEDGE BASED BAYESIAN OPTIMIZATION ALGORITHM APPLIED IN MULTIPROCESSOR SCHEDULING. Mendel Conference on Soft Computing. Brno: Faculty of Mechanical Engineering BUT, 2004. p. 83-88. ISBN: 80-214-2676-4.
Detail

GAŽAR, R. Neural Network Training using Genetic Algorithm. Mendel 2004 10th Internacional Conference on Soft Computing. Brno: Faculty of Mechanical Engineering BUT, 2004. p. 161-166. ISBN: 80-214-2676-4.
Detail

OHLÍDAL, M. Hybrid parallel simulated annealing using genetic operations. Zborník príspevkov ze seminara Počítačové Architektury a Diagnostika. Bratislava: Slovak Academy of Science, 2004. p. 48-53. ISBN: 80-969202-0-0.
Detail

JAROŠ, J. Úloha plánování procesů na paralelním multiprocesorovém systému pomocí bayesovských optimalizačních algoritmů. Zborník príspevkov ze seminara Počítačové Architektury a Diagnostika. Bratislava: Slovenská technická univerzita v Bratislavě, 2004. s. 60-65. ISBN: 80-969202-0-0.
Detail

KUTÁLEK, V. Modelování a predikce výkonnosti aplikačně-specifických multiprocesorových systémů. Počítačové architektúry & diagnostika PAD 2004. Bratislava: Slovenská akademie věd, 2004. s. 132-137. ISBN: 80-969202-0-0.
Detail

OHLÍDAL, M. Plánování skupinových komunikací v propojovacích sítích. Sborník příspěvků ze semináře Počítačové Architektury a Diagnostika. Praha: Fakulta elektrotechniky ČVUT, 2005. s. 129-134. ISBN: 80-01-03298-1.
Detail

OHLÍDAL, M.; SCHWARZ, J. Design of Group Communication for Regular and Irregular Networks. Mendel 2005 11th Internacional Conference on Soft Computing. Brno: Faculty of Mechanical Engineering BUT, 2005. p. 45-50. ISBN: 80-214-2961-5.
Detail

LAUMANNS, M.; OČENÁŠEK, J. Bayesian Optimization Algorithms for Multi-Objective Optimization. Lecture Notes in Computer Science, 2002, vol. 2002, no. 2439, p. 298-307. ISSN: 0302-9743.
Detail

DVOŘÁK, V.; ŠVÉDA, M.; RATTRAY, C.; ROZENBLIT, J. Formal Specifications of Computer-Based Systems - J.UCS Special Issue. Journal of Universal Computer Science, 2004, vol. 9, no. 11, p. 1258-1260. ISSN: 0948-6968.
Detail

ŠVÉDA, M.; RATTRAY, C.; ROZENBLIT, J. Formal Specifications of Computer-Based Systems - J.UCS Special Issue. Journal of Universal Computer Science, 2004, vol. 10, no. 10, p. 1354-1356. ISSN: 0948-6968.
Detail

ČEJKA, R.; DVOŘÁK, V.; STAROBA, J. Predicting performance of SMP clusters. In Distributed and Parallel Systems - Cluster and Grid Computing. Boston/London: Kluwer Academic Publishers, 2002. p. 38-45. ISBN: 1-4020-7209-0.
Detail

SCHWARZ, J. Bayesovské evoluční algoritmy s aplikacemi v úlohách dekompozice a alokace, zkrácená verze habilitační práce. In Vědecké spisy VUT. Edice Habilitační a inaugurační spisy, sv. 110. Brno: Nakladatelství Vysokého učení technického v Brně VUTIUM, 2003. s. 1-32. ISBN: 80-214-2389-7.
Detail

DVOŘÁK, V. Optimizing Communication Architectures for Parallel Embedded Systems. In Design of Embedded Control Systems. Berlin: Springer Verlag, 2004. p. 225-234. ISBN: 0-387-23630-9.
Detail

JAROŠ, J. Vývojové prostředky pro rychlé prototypování genetických algoritmů. Brno: Grantová agentura České republiky, 2004. s. 0-0.
Detail

DVOŘÁK, V. Architektury a programování paralelních systémů. Brno: Nakladatelství Vysokého učení technického v Brně VUTIUM, 2004. s. 0-0. ISBN: 80-214-2608-X.
Detail

DVOŘÁK, V.; ŠVÉDA, M. Proceedings of the International IEEE Conference and Workshop ECBS'2004. Los Alamitos, CA: IEEE Computer Society, 2004. p. 0-0. ISBN: 0-7695-2125-8.
Detail

STAROBA, J. Parallel Performance Modeling, Prediction and Tuning. Brno: 2004. p. 0-0.
Detail

DVOŘÁK, V.; STAROBA, J. Design Space Exploration of Parallel Embedded Applications Based on Performance-Oriented Specifications. Proceedings of the Joint Workshop on Formal Specifications of Computer-Based Systems. Stirling: University of Stirling, 2002. p. 71-75. ISBN: 1-85769-169-5.
Detail

Responsibility: Dvořák Václav, prof. Ing., DrSc.