Cisco PVT Enterprise Networking 17 - Wireless Troubleshooting

Evento muito positivo! Deu para trocar umas impressões com especialistas de renome, brincar um pouco com os novos WLC 3504, e as novas versões de ferramentas de gestão (PI 3.4 e CMX 10.3).
as o ponto alto foi ouvir as palavras sábias do mestre Javier Contreras Albesa. A primeira vez que ouvi foi no CLEUR 2013 e foi mais um daqueles momentos que me apercebi o quanto ainda tinha de aprender sobre wireless e equipamentos Cisco, apesar de na altura já ter o CCNP-Wireless.

Notas tiradas da apresentação:

Garantir que as versões a correr nos equipamentos são as versões aconselhadas pelo TAC:
https://www.cisco.com/c/en/us/support/docs/wireless/wireless-lan-controller-software/200046-TAC-Recommended-AireOS.html

Praticar uma gestão pro-ativa do bom estado da rede, analisando os seguintes Key Performance Indicators:
Memória - a utilização da memória incrementa regularmente?
CPU - Há alguma tarefa que dispara a utilização do CPU?
Canais de rádio - Há a tendência de alta ocupação dos canais de rádio?

Quais os recursos a analisar?:
- CPU
- Memória
- Timers
- tabelas de ARP
- Clientes
- Queues
- CAPWAP

A utilização da rede é a expectável?

Como é possível controlar o estado da rede?
O Prime Infraestruture é uma excelente ferramenta mas há certos detalhes que lhe "escapam" e por vezes é necessário uma análise mais profunda.

Por onde começar a análise do WLC?
Primeiro, seguir sempre os passos e métodos que falei num post anterior cwap-capitulo 1-processos de troubleshooting . Se o problema persistir e for necessário analisar o WLC com mais detalhe por onde começamos? Pelo Data Plane ou pelo Control Plane?

Control Plane
- Queues
- Per process CPU
- CPU per core
- DHCP stats
-Timers
- ARP switch/kernel
- Memória
- Mbufs
- número de clientes
- número de PMK

Data Plane
- State monitoring
- DP-CP Drops
- Fragmentação
- Pools de pacotes

CONTROL PLANE
Qual o estado do CPU?
(Cisco Controller) >show cpu
Verificar se não há nada de anormal nos valores de Individual CPU Load. Se houver algum valor suspeito verificar os processos.

(Cisco Controller) >show process cpu
Verificar qual o processo que está com o comportamento anormal.

Qual o estado das Queues?
(Cisco Controller) >show queue-info
Verificar se a coluna de "Breached" está toda a zero. Breached significa "quantas vezes a queue ultrapassou 95% de capacidade". Verificar a coluna "inuse" e "maxalowed"

E o que quer dizer cada queue? Qual a sua importância?

Dtlarpqueue: Data transformation layer ARP queue

SNMP-Q: SNMP requests

Debugger/logger-q: Debug and Syslog Messages

SPAM: Messages between AP and WLC

NMSP*: location

Dot1x: all authentication (PSK/dot1x)

APF*: 802.11 client state machine

BCAST*: multicast/broadcast

(Cisco Controller) >show radius queue
Verificar o estado das comunicações com o servidor de Radius

Se o Auth Alloc Err e o Acct Alloc Err for diferente de 0 então há problemas no servidor de Radius.Os valores de Auth Alloc deverão ser semelhantes aos de Auth Free , assim como os valores de Acct Alloc deverão ser semelhantes aos de Acct Free.

Qual o estado da memória?
(Cisco Controller) >show memory history
Verificar se os valores de memória disponível não decrementam constantemente. Este comando também identifica há quanto tempo é que o sistema está operacional.
Na secção do comando que analisa a "Pmalloc Pools Information" verificar se chucks-in-pool e chucks-in-use não incrementam a cada dia.

Qual o estado do AP?
(Cisco Controller) >show ap uptime
Há quanto tempo estão em cima e há quanto estão associados ao WLC.

O WLC fez algum reset? Será que guardou o coredump?
(Cisco Controller) >show coredump summary
Verificar quando é que o WLC fez um reset e que nome atribuiu ao ficheiro coredump, a "blackbox" dos WLCs.

Como estão os timers do WLC?
(Cisco Controller) >show system timers summary
Verificar quantos ainda estão livres. Se Alloc Failures for diferente de 0 é porque temos problema...

No caso de WLCs 5520/8540; como estão as fan's?
(Cisco Controller) >show imm chassis fan
Este problema acontecia nas primeiras versões do 5520 mas já há algum tempo que está resolvido. De qualquer maneira, se arrancarem o 5520 e parecer que têm um F16 no bastidor, vejam os RPM das fans

Como estão os clientes?
(Cisco Controller) >show client state summary
Verificar em que estado estão os clientes.
802.1x_req - clientes que não concluíram a negociação de 802.1x. Na grande maioria das vezes acontece por se enganarem nas passwords.
DHCP_Req - clientes que concluíram a autenticação mas não ganharam IP. Verificar o estado da rede e servidor de DHCP
Webauth_Req - clientes, geralmente guests,  que por alguma razão ainda não concluíram o processo de acesso ao webauth. Tanto pode ser um cliente que tenha colocado credenciais erradas como um utilizador que ligou o wifi mas ainda não se submeteu ao processo de autenticação do portal.

Como está o fastroaming dos clientes?
(Cisco Controller) >show pmk-cache all
Evidentemente que os WLC terão de pretencer ao mesmo Roaming Group para o fastroaming funcionar corretamente.

Como está o ARP do WLC?
(Cisco Controller) >show arp stats    show arp kernel
Verificar as entradas na tabela de ARP e o detalhe de cada entrada.

É suposto o WLC estar ligado à rede em modo LAG (Link AGgregation)?
(Cisco Controller) >show lag summary
Alteração do LAG implica um reset ao WLC

DATA PLANE

Como estão os buffers?
(Cisco Controller) >debug fastpath dump fpapool
Deverá estar na _GREENZONE.
YELLOWZONE significa que o houve uma altura que o buffer ficou muito carregado. Geralmente resultante de picos de tráfego.
ORANGEZONE significa que o buffer chegou a atingir o seu limite de processamento de comunicações.  Multicast é descartado e CAPWAP passa a ser a prioridade
_REDZONE, significa que o buffer ficou de tal modo carregado que passou só a tratar do CAPWAP
BLACKZONE.... significa... puff! fez-se o chocapic...

RED e BLACK implicam uma recuperação por crash

O Data Plane "fala" com o Control Plane?
(Cisco Controller) >debug fastpath dump dpcp-stats
Verificar a existência de DROPS

Então e se o problema não for no WLC? Como é que vejo que está tudo bem com o AP?
- CPU
- Memória
- Interfaces
- Radios
- CAPWAP

O que é que o AP está a propagar?
#show controller d0 | d1
Este comando gera um "testamento". Verificar:
- interface status
- qual o canal atribuído?
- o estado do PoE. Há alarme de LowPoE?
- QBSS load. Se tiver acima de 80% ( 0xCC) há problemas
- há txblocks?
- existem muitos resets counts?
- foi detetado algum jammer?
- há beacon stops?
- silent radio hang? quanto há clientes mas não há tráfego enviado/recebido
- PCI resets? Se há, temos problemas.

O método é o mesmo para os novos APs 1800/2800/3800/1560 que são AP-COS (linux kernel?
Mais ou menos, as estruturas são semelhantes mas alguma mudaram.

#show tech
Verificamos:
- memória
- cpu
- temperatura do equipamento e do ambiente

#show flash cores

Houve crash? Onde é que está a "blackbox" para tentarmos perceber o que se passou?

#show flash syslogs
Verificar o syslogs do AP

#show dot11 clients
Como estão os meus clientes? Em que WLAN estão ligados? Com que sinal estão a chegar ao AP?

#show client summary
Como estão os clientes associados ao AP?

#show controllers dot11radio 0|1 client <mac>
Detalhes e estatísticas de um determinado cliente

#show rrm neighbor-list
Qual o estado dos APs vizinhos?

#show history interface dot11radio all reset
Houve resets ao radio? Porquê?

#show controllers nss stats
Verificar as estatísticas do Data Plane do AP

#show interfaces dot11radio 0|1 wlan <wlan id> statistics
Estatísticas de uma WLAN num radio

Resumidamente:
- Mais vale prevenir que remediar
- Há várias maneiras de detetar o que se passa na rede antes de rebentar
- key metrics são excelentes para saber o que se passa e como se passa



Mais sobre o apresentador:
Wireless LAN Controller Config Analyzer (WLCCA)
Ferramenta obrigatória para qualquer pessoa que tenha de analisar configurações de WLCs

Apresentações no CiscoLive
BRKEWN-3011 - Advanced Troubleshooting of Wireless LANs
BRKEWN-3012 - Performance Monitoring on AireOS controllers and APs

CWDP concluído!!

Feito! Foi mais acessível graças aos anos de experiência e a regularidade com que faço surveys e design de redes.

Siga para o CWSP!!!

CWAP-402 Concluído!!!!

Mais uma etapa concluída! Foi um exame puxado, mesmo tendo dois meses de quase exclusivo estudo, ainda deu muita luta.

Sugestões:
- Adquirir o CWAP Study Guide. Ainda sou do tempo de estudar através de livros por isso fico mais confortável em estudar e anotar em papel e caneta.
Após dois meses de estudo, o meu study guide ficou com este aspecto:

A primeira metade é um pouco massuda porque vamos ao bit e ao byte de cada frame mas a segunda parte do livro já é mais interessante. Explica como detectar e mitigar problemas de wifi, muitos dos quais já encontrei e resolvi.


- Testar, testar, testar - felizmente já tinha muitas das ferramentas e conhecimentos de troubleshooting descritos no manual por isso essa parte foi mais uma revisão do que já sabia. Mas de qualquer maneira, não há melhor "professor/revisor" do que testar e comprovar os resultados pessoalmente.

- Aproveitar as review questions para ver os nossos pontos fortes e fracos - A primeira coisa que faço antes de começar a ler um capítulo é fazer as review questions. Assim fico como uma ideia de quais as matérias que estou mais confortável e quais é que necessito de estudar com mais afinco.

- Aproveitar o conhecimento da comunidade - Há centenas de fontes de conhecimento disponíveis na Internet. Blogs, vídeos, webinars, a comunidade de wlanpros no tweeter, etc, etc. O difícil é focar no que realmente nos interessa a uma dada altura.

CWAP - Termos que devem ser compreendidos para o exame CWA-402

CWAP-402 Exam Objectives

• 2.4 GHz - Gama de frequências entre os 2400 Mhz e os 2499 Mhz mas os equipamentos WI-FI só estão autorizados a utilizar as frequências entre os 2400 e os 2483 Mhz, subdivididas em canais com 22 Mhz de largura de banda o que na prática significa que se podem utilizar 3 canais (1, 6, 11) sem provocar problemas de channel overlap ou utilizar frequências.
• 4-way Handshake -  Processo utilizado para gerar encryption keys para frames unicast (PTK) e frames multicast/broadcast (GTK) durante autenticação 802.1x/EAP ou preshared key (PSK). PTK deriva da Pairwise Master Key (PMK) e a GTK deriva da Group Master Key (GMK).
• 5 GHz - Gama de frequências entre os 5000 Mhz e os 5999 Mhz mas os equipamentos WI-FI só estão autorizados a utilizar as frequências entre os 5000 e os 5835Mhz, subdivididas em canais com 20, 40 ou 80 Mhz de largura de banda.
• 802.11a - Opera nos 5Ghz. Utiliza modulação OFDM e suporta data rates até 54 Mbps.
• 802.11ac - Opera nos 5Ghz. Usa MU-MIMO, beamforming, 256 QAM, 8 spational streams e modulação OFDM. Suporta data rates até o 6933,3 Mbps.
• 802.11b - Opera nos 2,4Ghz. Usa HR/DSSS. Suporta data rates até os 11Mbps
• 802.11e - Introdução de métodos de QoS. Priorização de tráfego baseada em probabilística e contention windows. introdução de WMM.
• 802.11g - Opera nos 2,4Ghz. Usa ERPOFDM. Suporta data rates até os 54Mbps
• 802.11i - Encriptações na rede wifi. Define a encriptações RSN, AES e TKIP
• 802.11n - Opera dos 2,4 e 5Ghz. Introdução de conceitos de melhoria de performance tais como MIMO, canais com 40 Mhz (dual channel)
• 802.11w - Adenda à 802.11i para incluir protecção das management frames.
• 802.1p - wired QoS
• 802.1X - Estrutura de autenticação. O processo explica como um suplicante pode ser autenticado e autorizado por um servidor.
• Access Category (AC) - 802.11 usa 4 AC para categorizar tráfego; Voice (AC_VO), Video (AC_VI), best effort (AC_BE) e background (AC_BK)
• AES - Advanced Encryption Standard - Encriptação utilizada com CCMP e WPA2. Conciderada um upgrade às já comprometidas WEP/RC4 ou TKIP/RC4
• AIFS  - Arbitration IFS - usada para arbitrar a transmissão de frames por uma STA que suporta QoS. Exemplos de Control Frames de AIFS:

• PS-POLL
• RTS
• CTS
• BlockAckReq
• BlockAck

• Analysis - análise de sinais de RF. Útil para análise de problemas e planeamento.
• AP - Access Point - Equipamento emissor de radio utilizado para criar uma rede, uma bridge ou uma rede mesh.
• APSD - Automatic Power Save Delivery - Método utilizado para um AP em colocar em buffer frames destinadas a uma determinada STA enquanto esta está em modo dormente.
• Association - Condição em que uma STA comunica com a rede através de um AP.
• Authentication - validação da utilizadores ou equipamentos
• Beacon - Frame transmitida periodicamente por um AP para anunciar a presença de uma BSS, bem como quais os requisitos e capacidades dessa BSS
• CCA -Clear Channel Assessment - usado para determinar a disponibilidade do physical medium.
• CCMP - Counter Mode with Cipher Block Chaining-Message - WPA2 valida que o equipamento aplica devidamente o CCMP para autenticação e key management. AES é utilizado para encriptação.
• Channels - Um intervalo de frequências utilizado pelo standard 802.11. 20, 40 80 e 160 Mhz.
• Coding - Processo utilizado para codificar bits de modo a serem transmitidos de modo a que seja possível aplicar error recovery.
• Contention Window - intervalo de tempo, que varia de acordo com o nível de QoS, utilizado como backoff timer no processo de CSMA/CA
• Control Frame - Frame utilizada para controlo de comunicações. RTS frames, CTS frames, PS-Poll frames e ACK frames
• Controller - equipamento utilizado para gestão de APs
• CoS - Class Of Service - Layer 2 QoS marking
• CSMA/CA - Método utilizado de modo a que o um nó só transmita caso a BSS esteja livre de modo a se evitar colisões.
• Data Frame - frame que carregam dados. Também utilizadas para signaling como null data frames.
• DCF - Distributed Coordination Function - protocol que usa carrier sensing, backoff timers, interframe spaces e frame duration para evitar colisões
• Deauthentication - uma frame enviada de uma STA para outra STA de modo a terminar a conectividade entre elas
• Decode - como é interpretada a informação contida nas frames ou packets capturados
• Delay - O tempo que leva um bit a passar de uma STA para outra. Também conhecido como latência
• DFS - Dynamic Frequency Selection - Método para detetar interferências provenientes de radares e alterar automaticamente o canal para um que não seja afetado. Só nos 5Ghz
• DHCP - Dynamic Host Configuration Protocol - Atribuição de endereços Layer 3. Opção 43 usada para o DHCP server identificar o endereço do WLC.
• DIFS - Distributed Interframe Space - Usada por data frames e com um delay superior aos SIFS e PIFS. DIFS = SIFS+ 2x phy slots
• Disassociation - usado para remover a associação a um AP
• DNS - Protocol usado para resolução de host names
• DSCP - Layer 3 QoS marking. IP packets podem incluir DSCP markings (0 a 7) nos headers.
• DSSS Direct-Sequence Spread Spectrum - modelação. 1 a 2 Mbps
• DTIM - Delivery Traffic Indication Message - Messagem enviada como beacon de um AP a para os clientes registados com AID, a informar que há dados em buffer para lhes serem entregues.
• Duty Cycle - delta em que o radio está a transmitir ou que um canal está a ser ocupado
• EAP - Extensible Authentication Protocol - Estrutura para troca de mensagens de autenticação de 802.1X
• EDCA - Enhanced Distributed Channel Access- uma melhoria ao DCF (802.11e = 4xAC); passando a haver 8 categorias.
• Energy Detect - energia eletromagnética detetada por um spectrum analyzer
• ERP - Extended Rate Physical - introduzido na 802.11g que usa OFDM e oferece os 54 Mbps
• Frame Header - cabeçalho da frame que inclui informação de gestão
• HR/DSSS - High Rate Direct Sequence Spread Spectrum - uma adenda ao 802.11b. Passa a suportar 5,5 e 11 Mbps mas mantem a compatibilidade com as comunicações a 1 e 2 Mbps.
• HT - High Throughput - 802.11n que possibilita comunicações até os 600 Mbps e suporte a transmit beamforming e MIMO.
• Jitter - variações de delay na recepção de pacotes.
• Latency - tempo que demora dos dados a passarem entre o emissor e o receptor. Também conhecido como delay
• MAC - Medium Access Control - interface entre o Layer 2 e o Layer 1(PLCP)
• Management Frame - frames de controlo das WLANs; beacon, probe, Association, Disassociation, Reassociation, Authentication, Deauthentication, Action
• Management Frame Protection (MFP) - 802.11w. protecção de frames de gestão para mitigar ataques de DoS (deauthentication)
• MCA - Multiple Channel Architecture - Design de distribuição de canais numa rede wifi de modo a minimizar problemas de CCI e Channel Overlap
• MCS - Modulation and Coding Scheme - 802.11n; termo para descrever várias combinações de modulação e codificação.
• MIMO - Multiple Input/Multiple Output - método para comunicação por múltiplas antenas de transmissão e recepção (multipath) de modo a minimizar e compensar interferências .
• Modulation - processo para alterar a onda de radiofrequência. Modificar amplitude, frequência e fase de maneira que essas alterações sejam entendidas como bits
• MPDU - MAC Protocol Data Unit -  Usado para encapsular o MSDU, adicionar o MAC heather e FCS, e passar a informação para o PLCP
• MSDU - MAC Service Data Unit - Usado para encapsular dados provenientes das camadas superiors (3 e 7). Usado unicamente para frames de transmissão de dados.
• NTP - Network Time Protocol - sincronização de relógios através da utilização de um servidor.
• OFDM - Orthogonal Frequency Division Multiplexing - Modulação no layer 1 que possibilita rates até os 54 Mbps.
  

• OKC - Opportunistic Key Caching - solução de roaming em que as keys de autenticação 802.1X/EAP são guardadas na cache do AP ou do WLC de modo a que só o 4-way handshake é necessário a quando do roaming.
• PHY - diminutivo para Physical Layer (layer 1)
• PLCP - Physical Layer Convergence Protocol - tradutor entre o PMD e o MAC layer
• PMD - Physical Medium Dependent - Dedicado à transmissão e receção de bits. Também responsável pela modulação, como BPSK ou QAM
• PMK Caching - guardar a PMK em cache de modo a que um equipamento só necessite de efectuar o 4way handshake quando se tenta ligar a um AP no qual já está registado.
• Power Save - frames de Power Save Poll (PS-Poll) são utilizadas para notificar o AP de que o STA está "acordado" e pronto a receber frames que estejam em buffer
• PPDU - PLCP Protocol Data Unit - Usado para encapsular o PSDU, adicionar o preamble e o phy heather.
• Preamble  - Usado para preparar o destinatário a sincronizar as comunicações de modo a receber a frame.
• Preauthentication - STA preautentica com um AP ao qual ainda não está ligada, de modo a reduzir o tempo gasto no processo de roaming
• Probe Request - Frame enviada por um cliente quando quer receber informação sobre os APs numa área ou quando procura um determinado SSID
• Probe Response - Resposta de um AP ao probe request enviado pelo cliente. Contem informações relativas ao BSSs e respectivos requerimentos.
• Protected Management Frame (PMF) - Frames usadas na gestão de uma rede wireless. 802.11w
• PSDU - PLCP Service Data Unit  - É o mesmo que o MPDU. Só muda o nome para distinguir qual a camada (1 ou 2).
• PSMP - Power Save Multi-Poll - Adenda do 802.11n; Processo que funciona de dois modos; Scheduled-PSMP (S-PSMP) em que o AP informa uma ou mais STAs quando é que devem estar "acordadas" para receber downlink frames e quando estão autorizadas a enviar. Isso permite que as STA permaneçam "adormecidas" o máximo tempo possível e mesmo assim não perderem nenhuma frame.Unscheduled-PSMP (U-PSMP) não substitui U-APSD (WMM) mas aumenta a sua funcionalidade.
• QoS - Processo de priorização de tráfego. 802.11e
• RBW  - ResolutionBandWidth - a frequência mais baixa que o spectrum analyzer pode extrair e analisar.
• Real Time FFT - representação gráfica da comparação de amplitude com frequência
  
  
• RSSI - Received Signal Strenght Indicator - Designação comum da amplitude do sinal (dBm) detectado por um equipamento.
• RTS/CTS - RequestToSend/ClearToSend - Troca de frames usada para desimpedir o canal antes de transmitir a frame e evitar colisões.
• S-APSD - Scheduled-Automatic Power Save Delivery - Método agendamento de envio de frames APSD para uma STA que está em modo Power Save.
• SCA - Single Channel Architecture - Um método de arquitectura de rede em que todos os APs funcionam no mesmo canal e utiliza um controlador para este determinar quando é que cada um dos APs pode transmitir. Não é feito qualquer controlo das transmissões dos clientes.
• SIFS - Short InterFrame Space - Um delta de tempo que tem de existir entre frames.
• SISO - Single Input Single Output - 802.11a/b/g - 1 spatial stream
• Slot Time - segmento de tempo utilizado por cada 802.11 PHY

                   DSSS – 20 μs
                  HR/DSSS – 20 μs
                  ERP – 20 μs (long); 9 μs (short)
                  OFDM – 9 μs
                  HT – 20 μs (Long in 2.4 GHz); 9 μs (short in 2.4 GHz and always used in 5 GHz)
                  VHT – 9 μs

• SMPS  - Spatial Multiplexing Power Save - método de power saving utilizado no 802.11n para STA que só funcionem com um spatial stream.
• SNR - Signal to Noise Ratio - A diferença entre o sinal recebido e o nível de ruído de uma área. Representado em dB. Ex: Se o ruído for -95 dBm e o sinal recebido for -70dBm, o SNR é 25 dB.
• Spatial Multiplexing - Usado por MIMO; envio de informação por diversos spatial streams.
• Sweep Cycle - o tempo que o protocol analyzer demora a analisar todas as frequências que tem de analisar.
• Swept Spectrograph
  
• ToS - Type of Service - Layer 3 QoS entretanto substituído por DSCP. No entanto, pode ainda haver equipamentos mais antigos que usem ToS. 
• TPC - Transmit Power Control - 802.11h. Utilizado para os APs ajustarem a potência de transmissão do sinal de modo a mitigar problemas de near-far. Também utilizado para os APs obedecerem à regulamentação de cada país. 
• U-APSD - Enviada para uma power save STA quando o AP detecta uma frame proveniente da STA. 
• VHT  - Very Hight Throughtput - 802.11ac; MultiUser-MIMO (MU-MIMO)    
• VoIP - Voice Over IP  
• WIPS - Wireless Intrusion Prevention System - Um sistema utilizado para detectar e prevenir intrusões na WLAN  
• WMM - Wifi MultiMedia - Um certificado de QoS criado para disponibilizar métodos de prioritização de tráfego. 802.11e  
•  WPA-Personal - Processo de segurança. Não necessita de um servidor de autenticação. Usa TKIP para encriptação e RC4 cipher. Também conhecido com o WPA-PSK (preshared key)  
•  WPA-Enterprise - Processo de segurança que necessita de um servidor de autenticação 802.1x. Usa TKIP para encriptação e RC4 cipher  
• WPA2-Personal - Não necessita de um servidor de autenticação. Usa CCMP e AES cipher. Também conhecido com o WPA2-PSK (preshared key)  
• WPA2-Enterprise -  Processo de segurança que necessita de um servidor de autenticação 802.1x. Usa CCMP e AES cipher. Também conhecido como WPA2-802.1X