Um web crawler focado no rastreamento e catalogação de web feature Services (WFS) e web map services (WMS)

Abstract

O volume de páginas disponíveis na Internet vem crescendo significativamente, e isto se deve à democratização do acesso à tecnologia e ao próprio desenvolvimento da tecnologia que, por si só tem evoluído muito. Este fato se deve especialmente ao surgimento de novos frameworks, sejam eles proprietários ou em sua maioria open source, linguagens de programação mais modernas e metodologias de desenvolvimento e gestão mais ágeis. Com isto surge a questão de como se localizar páginas na Web mais facilmente. Esta é uma questão já parcialmente resolvida, principalmente quando se trata da busca por informações de maneira genérica. Existem máquinas de buscas, inicialmente desenvolvidas como pesquisa, que hoje já estão em estado consolidado e comercial, cujo propósito é realizar a busca de informações de maneira genérica, isto é, buscar informações de qualquer tópico de interesse do usuário. O problema vem à tona e, se mostra ainda em pauta, quando o assunto é a recuperação de informações mais específicas, ou que são de interesse de um público restrito. Esta pesquisa visa o desenvolvimento de uma máquina de busca cujo objetivo é encontrar Web Feature Services e Web Map Services, ou seja, Web Services que seguem os padrões do Open Geospatial Consortium. A metodologia empregada nesta pesquisa buscou resolver de maneira mais eficiente, em comparação com o estado da arte, a questão da recuperação de Web Feature Services e Web Map Services na Web. Para a apresentação dos resultados obtidos com o core da pesquisa foi implementado um portal Web que permite visualizar os resultados da busca por esse tipo de Web service. Palavras-Chave: Recuperação de Informação Geográfica. Rastreamento na Web. Serviços Web. Open Geospatial Consortium.

The volume of pages available on the Internet has been growing significantly, and this is mostly due to the democratization of access to technology, and to the own development of technology, which in itself has evolved a lot, a fact that is due especially to the appearance of new frameworks, being them proprietary or mostly Open Source, more modern programming languages, and more agile development and management methodologies. This raises the question of how to find such pages on the Web more easily. This is a problem that has already been partially resolved, especially when it comes to the search for information in a generic way because, there are search engines initially developed as research, and are now in a consolidated and commercial state, whose purpose is to search for information in a general, that is, to search for information on any topic of interest to the user. The problem comes to the fore, and it is still on the agenda, when the subject is the recovery of very specific information, or that are of interest to a very restricted audience, as is the case of the subject addressed by this research, Web Services that follow Open Geospatial Consortium standards: Web Feature Service and Web Map Service. This research addresses the subject with the presentation of a methodology that, proposes to solve more efficiently, in comparison to the state of the art, the issue of retrieving Web Feature Services and Web Map Services on the Web and, more than that is, the presentation of a web portal to view the results obtained with the research core. Keywords: Geographic Information Retrieval. Web Crawling. Web Services. Open Geospatial Consortium.