Big data

Em tecnologia da informação, o termo Big Data refere-se a um grande conjunto de dados armazenados. Diz-se que o Big Data se baseia em 5 V's : velocidade, volume, variedade, veracidade e valor.^[1]'^[2][3][4]
Big Data é um termo amplamente utilizado na atualidade para nomear conjuntos de dados muito grandes ou complexos, que os aplicativos de processamento de dados tradicionais ainda não conseguem lidar. Os desafios desta área incluem: análise, captura, curadoria de dados, pesquisa, compartilhamento, armazenamento, transferência, visualização e informações sobre privacidade dos dados. Este termo muitas vezes se refere ao uso de análise preditiva e de alguns outros métodos avançados para extrair valor de dados, e raramente a um determinado tamanho do conjunto de dados. Maior precisão nos dados pode levar à tomada de decisões com mais confiança. Além disso, melhores decisões podem significar maior eficiência operacional, redução de risco e redução de custos.
A análise adequada de tais grandes conjuntos de dados permite encontrar novas correlações, como por exemplo: "tendências de negócios no local, prevenção de doenças, combate à criminalidade e assim por diante". Cientistas, empresários, profissionais de mídia e publicidade e Governos regularmente enfrentam dificuldades em áreas com grandes conjuntos de dados, incluindo pesquisa na Internet, finanças e informática de negócios. Os cientistas, por exemplo, encontram limitações no trabalho de e-Ciência, incluindo Meteorologia, Genômica, conectonomia, simulações físicas complexas, além de pesquisa biológica e ambiental.
Tais conjuntos de dados crescem em tamanho em parte porque são cada vez mais frequentes e numerosos, uma vez que os dados atualmente podem ser reunidos por dispositivos baratos de informação, tais como equipamentos de sensoriamento móveis, aéreos (sensoriamento remoto), logs de software, câmeras, microfones, leitor (RFID) de rádio-frequência de identificação e redes de sensores sem fio. Desta forma, a capacidade per-capita tecnológico do mundo para armazenar informações praticamente tem dobrado a cada 40 meses, desde a década de 1980. A partir de 2012, foram criados a cada dia 2,5 exabytes (2,5 × 10¹⁸ bytes) de dados. O desafio atual para as grandes empresas é determinar quem deve possuir grandes iniciativas de dados que atravessem toda a organização.
Sistemas de gerenciamento de banco de dados relacional, estatísticas da área de trabalho e pacotes de visualização, muitas vezes têm dificuldade em lidar com grandes volumes de dados, pois isto requer o trabalho de "software paralelo, rodando em dezenas, centenas ou até mesmo milhares de servidores". O que é considerado "Big Data" varia de acordo com as capacidades dos usuários e suas ferramentas. Assim, o que é considerado "grande" em um ano provavelmente se tornará usual nos anos posteriores. "Para algumas organizações, que têm acesso a centenas de gigabytes de dados pela primeira vez, isto pode desencadear uma necessidade de se reconsiderar as opções de gerenciamento de dados. Desta forma, na atualidade "o volume dos dados armazenados ou acessados torna-se uma consideração importante."

   

Definição de Big Data:

Resumido ao máximo a explicação, o Big Data é a quantidade enorme de informações nos servidores de bancos de dados (Microsoft SQL Server + Oracle MySQL, por exemplo) que funcionam dentro de diversos servidores de rede de computadores (Intel, HP, IBM, Dell,Cisco, Samsung, etc) utilizando um sistema operacional de rede (Microsoft Windows Server 2008 + Red Hat Linux, por exemplo), interligados entre si, que hoje em dia funcionam dentro de um sistema operacional Cloud Computing (Microsoft Windows Azure, por exemplo), cujas informações são acessadas pela internet por pessoas utilizando um computador comum (notebook, por exemplo) ou celular (smartphone), para ler essas informações ou para incluir mais informações dentro do banco de dados via Cloud Computing.
Cada ano que passa, essa informação Big Data, tende a aumentar cada vez mais. Para garantir a segurança da informação, e para proteger a privacidade das informações, hoje em dia existem várias técnicas modernas (ITIL + COBIT, por exemplo). E a proteção que existe desde a década de 80, os antivírus (Symantec Norton, McAfee, AVG, Avast, etc), Hoje em dia o banco de dados SQL existe dentro dos servidores dos provedores de internet, que fornecem o serviço de uso disponível aos clientes.
2 Exemplos de Big Data: Youtube: todos os videos disponíveis online estão armazenados em diversos servidores de banco de dados SQL. Wikipédia: todos os textos disponíveis online estão armazenados em diversos servidores de banco de dados SQL.
   

Mercado de trabalho:

As oportunidades de trabalho na área de estatística estão aumentando graças à proliferação de programas para análise de dados e seu uso, especialmente, na tomada de decisão com objetivos estratégicos como: políticas de governo, seleção de investimentos, gestão de empresas e negócios, etc.. O Big Data permite trabalhar com grandes volumes de dados, por vezes, não aceitos pelos grandes programas estatísticos. No Brasil existe da profissão de Estatístico, regulamentada pelo Decreto Federal nº 62497 de 1968^[7]. Este profissional é treinado para trabalhar com estruturas de dados, em seu manuseio para extração de informação estratégica, nos métodos estatísticos de análise e em programação para sua análise estatística, de modo a se obter conclusões com margens de erro controladas para a tomada de decisões com base nos dados disponíveis. A IBM criou a Big Data University, que fornece certo conhecimento do Big Data. Existem na Internet, sites que oferecem plataformas de ensino à distância, comumente conhecidas como MOOCs, com cursos nas áreas de Big Data e de Ciência de Dados (Data Science, no original em inglês), nos quais pode-se estudar o seu conteúdo de forma gratuita ou pagar pelo certificado do curso. Os mais conhecidos são os sites do Coursera e o EDX.org, este último fruto de parceria entre as universidades americanas de Harvard e do MIT. No Brasil, o mercado para a área é promissor, sendo que muitas renomadas Universidades passaram a oferecer cursos de pós-graduação e MBAs ligados à área de Big Data, variando em sua maioria no tamanho da carga horária destinada à parte de negócios, componente importante na formação deste profissional, que precisará ter além das habilidades técnicas, a capacidade de apresentar as conclusões de suas análises e insights para um público leigo de forma simples, de forma a gerar valor para o negócio da empresa.