Assinale a opção que melhor descreve a diferença entre os f...

O Spark utiliza o processamento em memória, ou seja, é mais rápido e mais adequado para casos de uso em que a latência é um fator crítico. É uma tecnologia mais recente e utiliza RDDs (resilient distributed dataset) que podem ser criados a partir de um arquivo no HDFS (Hadoop Distributed File System - sistema de arquivos distribuídos do Hadoop).

O hadoop é baseado em disco e utiliza MapReduce. Sendo assim, é mais barato ter um cluster Hadoop por conta do valor do disco comparado ao da memória.

Uma desvantagem do Spark é o desempenho ser restringido pela memória, logo, o Hadoop é mais adequado para cargas de trabalhos mais pesadas e que não precisam de muita velocidade.

Além disso, o Spark é mais utilizado hoje em dia por conta do processamento em tempo real e do aprendizado em máquina (a própria biblioteca do Spark - MLib / PySpark (Python para o Spark).

O Apache Spark e o Apache Hadoop são dois frameworks de processamento distribuído frequentemente utilizados para lidar com grandes volumes de dados. Embora haja algumas semelhanças entre eles, também existem diferenças significativas em relação à arquitetura e às funcionalidades. Vamos explorar as principais diferenças entre o Spark e o Hadoop:

1. Arquitetura:

• Apache Hadoop: O Hadoop é baseado em um sistema de armazenamento distribuído chamado Hadoop Distributed File System (HDFS) e no modelo de programação MapReduce. Ele divide os dados em blocos e os distribui entre os nós de um cluster.
• Apache Spark: O Spark, por outro lado, é um framework de processamento de dados em memória que oferece uma abstração de programação chamada de Resilient Distributed Datasets (RDDs). Ele armazena os dados em RDDs, que são conjuntos de dados particionados e distribuídos em memória.

1. Velocidade:

• Apache Hadoop: O Hadoop é otimizado para trabalhar com grandes volumes de dados e é adequado para cargas de trabalho que exigem um processamento em lote, como análises retrospectivas.
• Apache Spark: O Spark é projetado para processamento em memória, o que o torna significativamente mais rápido que o Hadoop para algumas tarefas. Ele é especialmente adequado para cargas de trabalho que envolvem análises interativas, processamento em tempo real e machine learning.

1. Funcionalidades:

• Apache Hadoop: O Hadoop é mais focado em processamento de dados em lote e é amplamente utilizado para tarefas como processamento de logs, indexação de documentos e análises retrospectivas.
• Apache Spark: O Spark oferece uma ampla gama de bibliotecas e funcionalidades, incluindo suporte a processamento em lote, processamento em tempo real (Spark Streaming), processamento de dados SQL (Spark SQL), machine learning (Spark MLlib) e processamento de gráficos (GraphX). Ele fornece uma abordagem mais flexível para trabalhar com dados em diferentes formatos e cenários.

Vamos analisar as outras alternativas:

b. O processamento de dados no Hadoop é mais rápido do que no Spark, pois o Hadoop é mais escalável e utiliza clusters maiores, enquanto o Spark é limitado pelo tamanho do cluster.

Essa alternativa está incorreta. Embora o Hadoop seja altamente escalável e possa lidar com clusters maiores, isso não significa necessariamente que ele seja mais rápido em relação ao Spark. O Spark pode superar o Hadoop em termos de velocidade de processamento devido à sua capacidade de processamento em memória e otimizações internas.

c. O Spark é mais adequado para cargas de trabalho mais pesadas, enquanto o Hadoop é melhor para cargas de trabalho mais leves e interativas.

Essa alternativa também está incorreta. Tanto o Spark quanto o Hadoop são projetados para lidar com cargas de trabalho pesadas e complexas. O Spark é especialmente adequado para processamento em tempo real e análise interativa, mas isso não significa que ele seja inadequado para cargas de trabalho mais leves. O Hadoop, por sua vez, é frequentemente usado para processamento em lote, mas também pode lidar com cargas de trabalho mais pesadas.

d. O Spark e o Hadoop utilizam as mesmas técnicas de processamento de dados, mas o Spark é mais adequado para casos de uso em que a latência é um fator crítico, enquanto o Hadoop é mais adequado para casos de uso em que a capacidade de processamento em lote é mais importante.

Essa é a alternativa correta. O Spark e o Hadoop podem usar técnicas semelhantes, como o MapReduce, mas o Spark é mais adequado para casos de uso em que a latência é crítica, como processamento em tempo real, análise interativa e processamento iterativo. O Hadoop, por outro lado, é mais adequado para casos de uso em que a capacidade de processamento em lote é mais importante, como processamento em lotes de grandes volumes de dados.

e. O Hadoop é uma tecnologia mais recente que oferece melhorias, em relação ao Spark, em termos de desempenho e velocidade de processamento.

Essa alternativa está incorreta. O Hadoop e o Spark são tecnologias diferentes, mas não se pode afirmar que uma seja mais recente e ofereça melhorias em relação à outra em termos de desempenho e velocidade de processamento. Ambos os frameworks têm suas próprias características, vantagens e casos de uso específicos.

Portanto, apenas a alternativa 1 está correta, pois descreve corretamente a diferença entre o Spark e o Hadoop em relação ao processamento de dados.

Gabarito: A

Para compreender a questão é necessário conhecer as características dos frameworks Apache Spark e Apache Hadoop, bem como suas diferenças fundamentais no contexto de processamento de Big Data.

O Spark é conhecido por sua capacidade de processar grandes volumes de dados de maneira extremamente rápida, devido à sua arquitetura que realiza operações em memória. Utilizando o conceito de Resilient Distributed Datasets (RDDs), o Spark minimiza o acesso ao disco, que é mais lento, optando por manter os dados em memória sempre que possível, o que acelera as operações de leitura e escrita.

Por outro lado, o Hadoop é tradicional por usar o modelo de processamento MapReduce, que realiza leituras e escritas no disco entre as etapas de map e reduce. Isso resulta em uma velocidade de processamento tipicamente inferior à do Spark para a maioria das cargas de trabalho. Embora o Hadoop seja altamente escalável e adequado para processamento em lote de dados, ele não pode superar a rapidez proporcionada pela computação em memória do Spark.

As afirmações de que o Hadoop seria mais rápido (Alternativa B), que o Spark seria adequado para cargas mais pesadas e o Hadoop para cargas leves (Alternativa C), que ambos utilizam as mesmas técnicas de processamento (Alternativa D) ou que o Hadoop é uma tecnologia mais recente (Alternativa E) estão incorretas.

A alternativa correta (A) descreve acuradamente a principal diferença entre Spark e Hadoop: o Spark é mais rápido devido ao seu processamento baseado em memória e uso de RDDs, ao passo que o Hadoop, embora seja robusto e escalável, tem uma abordagem de processamento baseado em disco, utilizando MapReduce.