Monitoramento de acesso ao Servidor SQUID

Monitoramento On-line para linha de comando Para monitorar qualquer atualização, on-line, podemos contar com o parâmetro “-f” do comando “tail”, aplicando filtros de acordo com seu interesse.

# tail -f /var/log/squid/access.log | awk ‘{print$3 “ “ $8 “ “ $7}’

192.168.0.1 wrochal http://www.linuxit.com.br/
192.168.0.1 wrochal http://www.linuxit.com.br/log.gif
192.168.0.1 wrochal http://www.linuxit.com.br/banners/linuxmall.gif
192.168.0.1 wrochal http://www.linuxit.com.br/parcerios/01.gif
192.168.0.1 wrochal http://www.linuxit.com.br/parcerios/02.gif
192.168.0.1 wrochal http://www.linuxit.com.br/parcerios/03.gif
192.168.0.1 wrochal http://www.linuxit.com.br/parcerios/04.gif
192.168.0.1 wrochal http://www.linuxit.com.br/google.html

Monitoramento com o SARG

Com o Sarg é possível acompanhar com mais detalhes os acessos dos usuários, veja um exemplo de como o Sarg gera relatórios, é possível configurar o Sarg em algumas línguas, através do arquivo de configuração /etc/sarg/sarg.conf, a configuração do Sarg é simples e fácil.

Conheça um pouco sobre o Sarg e seu criador ( Mais Informações).

Instalando o Sarg

O SARG pode ser obtido no seguinte endereço: http://sarg.sourceforge.net/sarg.php. Após o download, descompacte usando o comando: # tar -xzvf sarg-1.3-PRE2.tar.gz

Depois disso, no diretório onde o programa foi descompactado, digite: # ./configure

Por padrão, o SARG é instalado no diretório /usr/local/sarg. No passado /etc/sarg/ é onde encontraremos o arquivo de configuração sarg.conf.

Configurando o Sarg

Vou citar os principais parâmetros e o arquivo que está explicado

Definindo Língua

language Portuguese

Título do Relatório

title “Relatórios de Acesso de Usuários do Squid”

Diretório onde serão gerados os relatórios

output_dir /home/squid/report/

Para gerar relatórios baseados no nome do usuário (requer um Proxy configurado com autenticação de usuários).

user_ip no
Esta opção permite especificar o local gerado para log do Squid # TAG: access_log file

#access_log /usr/local/squid/logs/access.log
#access_log /var/log/squid/logs/access.log # RedHat Versão
Nesta opção nada precisa ser modificado, portanto o tipo de acesso ao site é sobre o tipo de relatório de acordo com. # TAG: report_type type

As seguintes opções existem:

Topsites - Sites mais visitados por conexão e bytes.
Sites_users - Amostra de quais usuários têm acesso a um site específico.
Users_sites - Amostra de sites acessados por um usuário específico.
Date_time - Bytes utilizados/trafegados por dia e hora.
Denied - Amostra de tentativas de acesso a sites proibidos pelas ACLs.
Auth_failures - Amostra de tentativas de autenticação (erro na digitação da senha de autenticação) imperfeições de um usuário.

Após finalizar a configuração do Sarg, basta gerar os relatórios e abaixo vou mostrar alguns exemplos de como usar.

Por exemplo, quero enviar o relatório por e-mail para a data: sarg -e [email protected] -d 01/01/2003-06/01/2003

Outro exemplo muito legal seria para endereço URL, que no caso geraria o relatório apenas dos endereços descritos: sarg -s www.linuxit.com.br, www.myunix.org

Configurando o formato da data sarg -d [e=Europa -> dd/mm/aa], u=EUA -> mm/dd/aa]

Relatório por usuário e IP sarg -i wrochal 10.100.0.101

Relatório por hora sarg -t [HH, HH:MM, HH:MM:SS]

Relatório por Usuário sarg -u wrochal

Agora você já está apto a criar o relatório da habilidade que desejar e boa sorte.

Relatório com exclusão de sites, strings e usuários

Muitas pessoas perguntam como gerar relatório excluindo tais sites, usuários e strings. Saiba como usar este recurso:

exclude.hosts - Aqui cada linha terá um domínio/URL que não será mostrado no relatório. Útil para colocar, por exemplo, endereços de download da Intranet que passam pelo Squid, mas não consomem banda de Internet.

Coloque no arquivo sarg.conf: exclude_hosts /etc/sarg/exclude.hosts

exclude.strings - se alguma linha do arquivo de log contiver uma das strings deste arquivo (cada string por linha), essa linha de log será ignorada do relatório. Com isso você pode filtrar qualquer coisa do relatório.

Coloque no arquivo sarg.conf: exclude_string /etc/sarg/exclude.strings

exclude.users - os usuários que estiverem neste arquivo (separados por linha) não serão incluídos no relatório.

Coloque no arquivo sarg.conf: exclude_users /etc/sarg/exclude.users

Monitoramento com webalizer

O Webalizer funciona de forma diferente do Sarg, cria relatórios com totais, enfatizando mais a análise de banda, throughput, etc. É uma excelente opção para comparar o uso da rede durante diferentes períodos.

No entanto, para monitoramento de acesso dos usuários, o Sarg é a melhor alternativa, o Webalizer cria relatórios baseados nos serviços Squid e Apache

Instalando webalizer

Faça o download: http://www.mrunix.net/webalizer/download.html

Após o download, descompacte e instale: # ./configure

Opções avançadas:

Instalando com definição de idioma, verifique o diretório lang que possui suporte.

–with-language=

exemplo

–with-language=french

Principais parâmetros

Qual arquivo de logs contém os dados necessários para a geração do relatório.

LogFile /var/log/squid/access.log

Qual tipo de serviço o relatório será gerado.

LogType squid

Diretório onde o relatório será gerado

OutputDir /home/webalizer/

Calamaris

O Calamaris é um software escrito em Perl que efetua a geração de relatórios detalhados do uso da Internet utilizando os arquivos de logs de alguns servidores proxy, como o NetCache, Inktomi Traffic Server, Oops! proxy server, Novell Internet Caching System, Compaq Tasksmart, Netscape/iplanet Web Proxy server e claramente o Squid. Os relatórios gerados são bem simples na apresentação, porém muito ricos em detalhes extraídos dos arquivos de logs, podendo ser gerados no mesmo formato HTML ou em texto para serem enviados por e-mail.

O uso deste software é muito simples, primeiro é necessário baixar a versão mais recente em http://cord.de/tools/squid/calamaris/Welcome.html.en, descompactar o arquivo no diretório de sua preferência, no nosso caso /usr/local/calamaris, após isso já pode usá-lo. Abaixo temos um exemplo simples de comando para geração dos relatórios de log do Squid. # /usr/local/calamaris/calamaris -a -F html /var/log/squid/access.log >/srv/www/default/html/calamaris/index.html

O comando acima já é suficiente para a geração de excelentes relatórios de análise de logs. Neste caso, usamos a opção - que diz ao Calamaris para gerar todos os relatórios, -F HTML especifica o formato do relatório que queremos, no caso em HTML, /var/log/squid/access.log é onde está localizado o arquivo de log do Squid e /srv/www/default/html/calamaris/index.html a localização do relatório gerado, neste caso uma pasta na árvore do Apache de forma que possa ser analisada de qualquer estação da rede.

Podemos observar na Figura 1 os tipos de relatórios gerados, assim como na Figura 2 um desses relatórios, que no exemplo contém informações sobre solicitações, organizadas por extensão.

Figura 01

Figura 02

O ideal é que seja desenvolvido um script para que possamos programar a execução do Calamaris para cron, mas isso não será tratado aqui dado o fato de que isso terá que ser feito de acordo com as necessidades de cada um, assim como o próprio software já traz alguns exemplos de como fazer isso.

Squid-Graph

O Squid-Graph, assim como o Calamaris, é escrito em Perl, no entanto como o próprio nome menciona, é um gerador de gráficos do uso do servidor proxy. Ele se propõe a apresentar informações mais sintéticas dos acessos e transferências de dados, mas nem por isso deixa de ser uma alternativa interessante e pode complementar o rol de ferramentas de administração.

Pode ser obtido em http://squid-graph.securlogic.com/files/stable/squid-graph-3.1.tar.gz, sendo esta a última versão disponível no momento. É importante lembrar que é necessário que esteja instalado o módulo Perl GD, que com certeza deve estar no CD da sua distribuição favorita.

O processo de instalação é muito simples, pois trata-se apenas de descompactar os arquivos no diretório escolhido, já que não precisamos compilar nada. No nosso caso, instalamos em /usr/local/squid-graph/, como mostra o comando abaixo. **# tar xzvf squid-graph-3.1.tar.gz -C /usr/local/

A execução do comando para geração dos gráficos vai depender de como e quais gráficos terão que ser gerados, no entanto uma boa forma de executar este comando é assim gerando os gráficos de forma cumulativa, conforme apresentado abaixo. #/usr/local/squid-graph/bin/squid-graph -c -n -o=/srv/www/default/html/squid-graph/ –title=”Gráfico de uso do proxy” < /var/log/squid/access.log
No comando acima usamos a opção -c, dessa forma estamos gerando os gráficos cumulativos, ou seja, teremos dois gráficos para os acessos e transferências TCP, respectivamente, e mais dois gráficos para os acessos e transferências UDP. A opção -n faz com que não sejam “ecoadas” na tela as informações do processamento do log do Squid, -o=/srv/www/default/html/squid-graph/ representa o local onde os arquivos serão gravados (HTML e imagens), -title=”Gráfico de uso do proxy” personaliza o título da página HTML, onde os gráficos são mostrados, e finalmente temos o arquivo de log do Squid.

Existem outras opções interessantes, como gerar gráficos para uma URL específica ou usando uma, como podemos ver abaixo com o uso do comando 3: # cat /var/log/squid/access.log | grep “ginux.comp.ufla.br” | /usr/local/squid-graph/bin/squid-graph -c -n / -o=/srv/www/default/html/squid-graph/ –title=”Gráfico de uso do proxy”

Para gerar um gráfico dos acessos de um determinado usuário, precisaríamos apenas substituir o comando grep mostrado acima, por grep “192.168.16.3”, assumindo que 192.168.16.3 é o IP do seu usuário. Podemos ainda usar o mesmo recurso para gráficos de determinados tipos de arquivos, usando a extensão como parâmetro, por exemplo grep “.mp3” é um bom começo. Como já deu para perceber, podemos combinar o uso do Squid-Graph com outros comandos do Linux, de forma que podemos ter uma infinidade de opções para seu uso, além de existirem outras opções interessantes que não foram tratadas aqui.

Autor: William Rocha - [email protected]
Tradução: Tatiana Freitas - [email protected]

Referências:

Hugo Cisneiros, hugo_arroba_devin_ponto_com_ponto_br - http://www.devin.com.br/eitch/
Livro Squid - Configurando Proxy para Linux (Antonio Marcelo)
Webalizer - http://www.mrunix.net/webalizer/
Sarg - http://sarg.sourceforge.net/
Uso e Configuração do SQUID (Parte 1 e Parte 2) - Por Antonio Claudio Sales Pinheiro - [email protected]