Thiago Ramos Santiago posts

Big data

Geolocalização de publicações médico científicas

Na medicina, existem descobertas especiais que não apenas revolucionaram o conhecimento do corpo humano, das doenças e seus tratamentos, mas também salvaram milhões de pessoas. Essas descobertas aumentaram a qualidade e a expectativa de vida em todo o mundo, além de abrir horizontes para novos estudos. Mas atualmente, de onde as publicações médicas científicas estão vindo? Quais são os países que mais colaboram? Para investigar essas questões, nós nos concentramos na base de dados da biblioteca nacional de medicina dos Estados Unidos, a MEDLINE, com mais de 18 milhões de artigos…

Leia mais
Arqui e tecno

Melhorando o Desempenho dos Jobs Hadoop no HDInsight

  Há algum tempo ando experimentando alguns “macetes” para lidar com os dados de forma eficiente dentro do HDInsight, e como tenho obtido resultados conclusivos, fiz esse artigo para compartilhar com vocês essa experiência. Importante esclarecer que este artigo não se trata especificamente de uma comparação de desempenho e sim de uma experiência empírica, deliberadamente subjetiva, explicando a minha visão e as soluções que encontrei para otimizar o desempenho dos Jobs na plataforma BigData da Microsoft. Meu caso de uso é simples: uma POC com um cluster Hadoop instanciado no Azure, consistindo…

Leia mais
Arqui e tecno

HDInsight: Big Data de acordo com a Microsoft

A Microsoft apresentou em 2012 sua iniciativa BigData para o Azure: O HDInsight. O Azure HDInsight implanta e provisiona clusters do Apache Hadoop na nuvem, fornecendo uma estrutura de software criada para gerenciar, analisar e relatar Big Data. O núcleo do Hadoop fornece armazenamento de dados com o HDFS (Sistema de Arquivos Distribuído Hadoop) e um modelo de programação MapReduce para processar e analisar, paralelamente, os dados armazenados nesse sistema distribuído.

Leia mais
Arqui e tecno

Medindo a performance do seu cluster Hadoop

O Hadoop não é uma aplicação web, um banco de dados e tampouco um webservice, você não conseguiria estressar um cluster Hadoop com teste de carga tradicional (afinal ele é feito pra suportar grandes volumes de dados). Realizar um teste de estresse no cluster é um passo geralmente esquecido, porém muito importante quando você monta o seu ambiente hadoop, afinal, é importante ter um benchmark do cluster, ou seja, avaliar seu desempenho, executando uma variedade de tipos de jobs cada uma focado em um campo específico (indexação, consulta estatísticas preditivas, aprendizado…

Leia mais
Arqui e tecno

Prevendo o futuro com filtros colaborativos

É possível prever o futuro? Muitos acreditam que um homem chamado Michel de Nostradamus foi capaz. Suas previsões têm intrigado estudiosos por mais de quatrocentos anos. Prever o futuro sempre foi um dos maiores desejos do ser humano, isso pode ser visto em quadrinhos, filmes de Hollywood, e até mesmo na cigana que te aborda na rua para ler a sua mão. A ciência afirma que prever o futuro pode ser uma capacidade humana: uma pesquisa empírica sugere que o cérebro possui uma certa capacidade de perceber o que está por vir... Mas,…

Leia mais
Arqui e tecno

Medindo o desempenho de aplicações Web – Parte 3

Nos artigos anteriores (artigo 1 e artigo 2), vimos quais são os tipos de teste de performance que podem ser realizados para garantir o bom desempenho da aplicação, e também como um teste de carga pode nos ajudar a descobrir o quão performática é nossa aplicação. Nesse artigo veremos o que é, e como pode ser realizado um novo conceito de testes: o PWPO.

Leia mais
Arqui e tecno

Medindo o desempenho de aplicações Web – Parte 2

No artigo anterior, vimos o que é um teste de carga, teste de stress e teste de não regressão de performance. Além disso vimos qual a importância de realizar testes de desempenho para garantir o bom funcionamento da aplicação web, e o quanto se perde em tempo (e dinheiro) tendo um site lento. Nesse artigo veremos como um teste de carga poderá nos ajudar a descobrir o quão performática nossa aplicação e quais são os passos para planejar e executar um teste de carga.

Leia mais
Arqui e tecno

Medindo o desempenho de aplicações Web – Parte 1

Naquela típica conversa de almoço, certa vez, um colega disse que com uma pequena ajuda do Google poderia facilmente listar os estereótipos mais populares sobre uma nação, bastando pra isso digitar: "por que os [nacionalidade X] são tão...", e rir com os resultados.     Depois de algumas risadas eu pensei: qual seria o consenso da opinião pública sobre os maiores sites da internet. Adaptando um pouco a ideia anterior podemos ter algumas respostas interessantes: Pra minha surpresa os resultados indicaram que boa parte das pessoas está perguntando sobre o mesmo…

Leia mais