Google Ngram Viewer – Wikipédia, a enciclopédia livre

O Google Ngram Viewer ou o Google Books Ngram Viewer é um mecanismo de pesquisa on-line que mapeia as frequências de qualquer conjunto de cadeias de pesquisa delimitadas por vírgulas usando uma contagem anual de n-gramas encontrados em fontes impressas entre 1500 e 2008^{[1][2][3][4][5]} nos corpora de texto do Google em inglês, chinês (simplificado), francês, alemão, hebraico, italiano, russo ou espanhol.^[2][6] Existem também alguns corpora em inglês especializados, como inglês americano, inglês britânico e ficção inglesa; e a versão 2009 da maioria dos corpora também está disponível.^[7]

O programa pode procurar por uma única palavra ou frase, incluindo erros ortográficos ou rabiscos.^[6] Os n-gramas são combinados com o texto dentro do corpus selecionado, opcionalmente usando ortografia com distinção entre maiúsculas e minúsculas (que compara o uso exato de letras maiúsculas),^[3] e, se encontrado em 40 ou mais livros, são plotados em um gráfico.^[8]

O Google Ngram Viewer, desde janeiro de 2016, suporta pesquisas por classe gramatical e curingas.^[7]

O programa foi desenvolvido por Jon Orwant e Will Brockman e lançado em meados de dezembro de 2010.^[2][4] Foi inspirado em um protótipo (chamado "Bookworm") criado por Jean-Baptiste Michel e Erez Aiden do Observatório Cultural de Harvard e Yuan Shen do MIT e Steven Pinker.^[9]

O Ngram Viewer foi inicialmente baseado na edição de 2009 do Google Livros Ngram Corpus. Desde janeiro de 2016, o programa pode pesquisar o corpus de um idioma individual na edição de 2009 ou 2012.

Vírgulas delimitam termos de pesquisa inseridos pelo usuário, indicando cada palavra ou frase separada a ser encontrada.^[8] O Ngram Viewer retorna um gráfico de linhas plotado segundos após o usuário pressionar a tecla Enter ou o botão "Search" na tela.

Como um ajuste para a publicação de mais livros durante alguns anos, os dados são normalizados, em nível relativo, pelo número de livros publicados em cada ano.^[8]

O Google preencheu o banco de dados de mais de 5 milhões de livros publicados até 2008. Assim, a partir de janeiro de 2016, nenhum dado corresponderá além do ano de 2008, independentemente de o corpus ter sido gerado em 2009 ou 2012. Devido a limitações no tamanho do banco de dados Ngram, apenas correspondências encontradas em pelo menos 40 livros são indexadas no banco de dados; caso contrário, o banco de dados pode não ter armazenado todas as combinações possíveis.^[8]

Normalmente, os termos de pesquisa não podem terminar com pontuação, embora um ponto final separado (um ponto) possa ser pesquisado.^[8] Além disso, um ponto de interrogação no final (como em "Por quê?") fará uma segunda pesquisa para o ponto de interrogação separadamente.^[8]

A omissão dos períodos nas abreviações permitirá uma forma de correspondência, como usar "R M S" para procurar "R.M.S." versus "RMS".

Os corpora usados para a pesquisa são compostos de arquivos de total_counts, 1-gramas, 2-gramas, 3-gramas, 4-gramas e 5-gramas para cada idioma. O formato do arquivo de cada um dos arquivos são dados separados por tabulação. Cada linha tem o seguinte formato:^[10]

• arquivo total_counts

  year TAB match_count TAB page_count TAB volume_count NEWLINE

• Arquivo ngram da versão 1 (gerado em julho de 2009)

  ngram TAB year TAB match_count TAB page_count TAB volume_count NEWLINE

• Arquivo ngram da versão 2 (gerado em julho de 2012)

  ngram TAB year TAB match_count TAB volume_count NEWLINE

O Google Ngram Viewer usa match_count para plotar o gráfico.

Como exemplo, uma palavra "Wikipedia" do arquivo da versão 2 do inglês 1-gramas é armazenada da seguinte maneira:^[11]

O gráfico plotado pelo Google Ngram Viewer usando os dados acima está aqui:^[12]

O conjunto de dados foi criticado por confiar em OCR impreciso, uma superabundância de literatura científica e por incluir um grande número de textos incorretamente datados e categorizados.^[13][14] Por causa desses erros e por não ser controlado pelo viés^[15] (como a quantidade crescente de literatura científica, que faz com que outros termos pareçam diminuir em popularidade), é arriscado usar esse corpus para estudar a linguagem ou testar teorias.^[16] Como o conjunto de dados não inclui metadados, ele pode não refletir alterações linguísticas ou culturais gerais^[17] e pode apenas sugerir esse efeito.

Outra questão é que o corpus é de fato uma biblioteca, contendo um de cada livro. Um único autor prolífico pode, assim, inserir visivelmente novas frases no léxico do Google Livros, quer o autor seja amplamente lido ou não.^[15]

O reconhecimento óptico de caracteres ou OCR nem sempre é confiável e alguns caracteres podem não ser digitalizados corretamente. Em particular, erros sistêmicos, como a confusão de "s" e "f" nos textos anteriores ao século XIX (devido ao uso de s longo, com aparência semelhante a "f"), podem causar viés sistêmico. Embora o Google Ngram Viewer afirme que os resultados são confiáveis a partir de 1800, dados de OCR ruins e insuficientes significam que as frequências fornecidas para idiomas como o chinês só podem ser precisas a partir de 1970, com partes anteriores do corpus mostrando nenhum resultado em termos comuns e dados de alguns anos contendo mais de 50% de ruído.^[18][19]

• Google Trends
• Análise léxica

Referências

• «Syntactic Annotations for the Google Books Ngram Corpus» (PDF). Proceedings of the 50th Annual Meeting. Demo Papers. 2: 169–174. 2390499. Apresentando a edição de 2012 do Google Books Ngram Corpus  !CS1 manut: número-autores (link)

• Portal da tecnologia
• Portal da literatura
• Portal da linguística
• Portal dos Estados Unidos