Big data

Geolocalização de publicações médico científicas

Geolocalização de publicações médico científicas

Na medicina, existem descobertas especiais que não apenas revolucionaram o conhecimento do corpo humano, das doenças e seus tratamentos, mas também salvaram milhões de pessoas. Essas descobertas aumentaram a qualidade e a expectativa de vida em todo o mundo, além de abrir horizontes para novos estudos.

Mas atualmente, de onde as publicações médicas científicas estão vindo? Quais são os países que mais colaboram?

Para investigar essas questões, nós nos concentramos na base de dados da biblioteca nacional de medicina dos Estados Unidos, a MEDLINE, com mais de 18 milhões de artigos e citações medicas.

Dados abertos estão fluindo ao redor do mundo, esperando por novos ângulos de análise e para enfrentar esses grandes problemas, um rico ecossistema de ferramentas tem evoluído, juntamente com novos paradigmas de arquitetura. O desafio Medline demonstra o que pode ser alcançado com o poder de ferramentas BigData.

Para fornecer alguns insights sobre como a nossa aplicação web interativa foi construída para explorar esses dados, vamos analisar o método de localização geográfica com base na filiação de texto livre. O Hadoop orientado para tratamento de dados com Scala e Spark e análise interativa com o Zeppelin notebook e renderização com React (um moderno framework JavaScript). O código foi aberto e publicado no github [1, 2] e o aplicativo está disponível funcional na Amazon AWS.

Leia mais

Arqui e tecno

Vitualização de Ambientes – Provisionando com o Ansible – Parte 3

Chegamos finalmente a última parte da série de artigos sobre ambientes virtualizados, e agora vamos conhecer sobre uma ferramenta que forma um casamento perfeito com o Vagrant, e que será de total importância para a automação dos ambientes que serão utilizados para o desenvolvimento, o Ansible. Anteriormente, entendemos no artigo Virtualização de Ambientes – Uma introdução ao conceito e Vagrant, os conceitos por trás dessa abordagem para uma equipe de TI e seus benefícios, e no artigo Virtualização de Ambientes – Vagrant em ação, conhecemos uma ferramenta apropriada para implementar tais conceitos, o Vagrant.

Por que o Vagrant pode formar um casamento ideal com o Ansible?

Ansible e Vagrant

Leia mais

Arqui e tecno

JavaScript – Onde queremos estar em 2016?

O stack de tecnologias JavaScript aumentou exponencialmente nos últimos tempos por diversos motivos, e é possível sublinhar alguns pontos centrais para contextualizar sobre qual direção seguir daqui para frente.  A adoção de grande parte da comunidade open source entorno da tecnologia foi e continua sendo crucial para esse crescimento praticamente orgânico que percebemos ao olhar o ecossistema JavaScript, desde ferramentas completas desenhadas para soluções abrangentes, até bibliotecas e pequenos frameworks para a resolução de problemas pontuais e recorrentes. Outro ponto crucial é o fato de o JavaScript ser uma solução Web dominante, e a Web está atualmente habilitada em quase todos os tipos de dispositivos que conhecemos, fazendo ser praticamente obrigatória a sua adoção quando falamos em Web. Com a introdução do JavaScript no lado do servidor com o NodeJS, acabou se tornando natural sua escolha.

word cloud

Leia mais

Arqui e tecno

Projetando uma API REST

Bom, se você está na correria, use logo o nosso “Quick Reference Card“, um resumo das boas práticas para APIs REST.

➡ Faça o download do API Design – Cartão de Referência Rápida

OCTO – API Design – Cartão de Referência Rápida

Com mais tempo, você pode ler o nosso artigo, que mostra ponto a ponto todos as questões do “Guia de Referência“.        INTERESSADO NO ASSUNTO? CONTACTA-NOS!

Leia mais

Arqui e tecno

Maturidade da Integração Contínua

Há 15 anos Martin Fowler publicou Continuous Integration, artigo seminal da Integração Contínua. Alguns meses depois, foi lançado o CruiseControl, primeiro servidor de Integração Contínua. Hoje no mundo, apenas 50% das empresas possuem Integração Contínua, número baixo levando-se em conta a redução de custos que toda automação traz.

Talvez as empresas estejam pensando apenas no investimento, sem uma visão muito clara do ROI. O esforço de implementação da automação pode ser recuperado nas atividades de build/deploy/teste em dois à quatro sprints. O retorno é especialmente grande em projetos longos.

Além da baixa adoção, a baixa maturidade também impede a completa capitalização das vantagens da Integração Contínua.

E ainda vem por aí Entrega Contínua, Deploy Contínuo e DevOps, práticas que se apoiam e vão além da Integração Contínua, mas para isso a fundação precisa estar firme…

Maturidade DevOps

Mas como se avalia a maturidade de um ambiente de Integração Contínua?

Leia mais

Arqui e tecno

Virtualização de Ambientes – Vagrant em ação – Parte 2

Como visto no artigo Virtualização de Ambientes – Uma introdução ao conceito e Vagrant – Parte 1, enfrentamos diversos problemas com processos repetíveis, problemas com os quais podemos resolver ao automatizamos de maneira que tudo aconteça de forma natural e controlada. Essa deve ser a busca de times que buscam ser o mais produtivo possível e utilizar seu tempo com atividades que realmente demande.

Leia mais

Metodologia

Management 3.0: entrevista com Jurgen Appelo na USI 2015

Jurgen Appelo no evento da OCTO USI 2015O Management 3.0 é o assunto mais falado este ano. Os participantes da conferência de 2015 tiveram a grande sorte de aprender diretamente com o autor: Jurgen Appelo.

Além de realizar sua apresentação na USI Jurgen Appelo gentilmente concedeu uma entrevista à OCTO.

OCTO : O que você considera particularmente novo e disruptivo no Management 3.0?

Jurgen Apelo : A inovação é focar na gestão do sistema ao invés de pessoas. Por exemplo, nosso sistema de gestão de bônus. Não sou eu quem decido como ele funciona. Eu considero que não é parte do meu trabalho. Acredito que os empregados sabem melhor que eu qual deve ser o nível de performance deles. Por isso deixo que eles decidam entre eles. Eu apenas garanto que o processo funcione da melhor maneira possível. Essa é minha responsabilidade já que fui eu que introduzi essa ideia.  Funciona da mesma maneira que nos modelos tradicionais de supervisor e colaboradores. Eu considero que minha responsabilidade não é motivar as pessoas a melhorarem seu desempenho usando mecanismos de recompensa e punição. Meu trabalho é implantar um sistema que faça com que as pessoas gostem de melhorar o seu próprio desempenho.

Leia mais

Arqui e tecno

Virtualização de Ambientes – Uma introdução ao Vagrant – Parte 1

Atualmente no processo de desenvolvimento de software existem atividades que podem se tornar complexas ou mesmo serem complexas por natureza, e no meio dessas atividades temos a configuração de ambientes em um time de TI, essa é uma das tarefas em que mais perdemos tempo e esforço. Montar um ambiente de trabalho ou ambientes para desenvolvimento, QA ou produção é um processo repetível, propenso a erros e consequentemente mais tempo e esforço para consertar. Com isso em mente, precisamos entender quais os problemas isso acarreta mais a fundo.

Leia mais

Arqui e tecno

Gradle – Build feliz

 

Durante anos utilizamos o Maven para cuidar da automação do processo de build. Essa ferramenta se tornou um padrão de mercado e ajudou inúmeros times. Porém, não podemos negar que ela também tem suas deficiências. A escolha de XML para o descritor de projeto tem seus problemas. Quantas vezes perdemos horas olhando para um XML, só para tentar descobrir como funciona o build? Além disso é difícil adicionar alguma lógica no build. O Maven é construído com a idéia de convention-over-configuration. O que por si só é muito bom. Porém, quando tentamos configurar projetos de maneira diferente do padrão enfrentamos muitos problemas. Isso pode ser bem doloroso.

Se você já enfrentou problemas utilizando o Maven com certeza deve ter se perguntado se não existia uma maneira melhor de se trabalhar. Acreditamos que existe sim, uma forma simples e sustentável de se automatizar builds. Nossa recomendação é a utilização do Gradle.

Leia mais

Arqui e tecno

Melhorando o Desempenho dos Jobs Hadoop no HDInsight

 

HMelhorando o desempenho dos Jobs Hadoop no HDInsightá algum tempo ando experimentando alguns “macetes” para lidar com os dados de forma eficiente dentro do HDInsight, e como tenho obtido resultados conclusivos, fiz esse artigo para compartilhar com vocês essa experiência.

Importante esclarecer que este artigo não se trata especificamente de uma comparação de desempenho e sim de uma experiência empírica, deliberadamente subjetiva, explicando a minha visão e as soluções que encontrei para otimizar o desempenho dos Jobs na plataforma BigData da Microsoft.

Meu caso de uso é simples: uma POC com um cluster Hadoop instanciado no Azure, consistindo basicamente em filtrar informações de uma base de informações com um volume estimado em 1.3 TB ao ano.

Se você ainda não está familiarizado com o ecossistema de processamento paralelizado Hadoop, mas quer saber mais sobre o assunto, basta escolher a pílula vermelha, mas eu devo te advertir: esse é um caminho sem volta…

Leia mais