Portal de Administração de Conferências - CEFET-MG, Seminário de Discentes dos Programas de Pós - Graduação Stricto Sensu

Tamanho da fonte: 
SSIM: Simulador de Desempenho de Programas Paralelos em Spark
Cristina Duarte Murta, Pedro Micael Theõsa Lucas Nogueira Pinto

Última alteração: 2014-10-06

Resumo


A estimativa de desempenho de programas sequenciais é uma área bem desenvolvida da computação mas não podemos dizer o mesmo de programas paralelos. A programação paralela deverá ser o paradigma de programação dominante, pois o hardware que utilizamos hoje é paralelo. Estimar o tempo de execução de uma tarefa paralela é uma tarefa complexa pois envolve a predição de tempos computacionais das subtarefas, que podem ser paralelas ou distribuídas. O objetivo inicial desse trabalho foi apresentar uma estimativa do tempo de execução de tarefas no modelo de programação paralela MapReduce, implementadas no ambiente Hadoop. No entanto, recentemente surgiu o ambiente Spark, que implementa novas estruturas de dados e que pode ser até cem vezes mais rápido que o Hadoop. Assim, redefinimos nosso objetivo para construir um simulador capaz de prover uma estimativa do tempo de execução de uma tarefa no ambiente Spark. O simulador poderá, por exemplo, fornecer informações acerca de quais recursos são necessários para processar certa quantidade de dados em um tempo predeterminado. Informações como esta são importantes no planejamento e na tomada de decisão em relação à execução de uma tarefa, evitando custos com aquisições ou atualizações desnecessárias.


Palavras-chave


Programação paralela. Desempenho. Simulação.