Um “ataque SYN” é um ataque Denial of Service (DoS) que consome todos os recursos de seu server, forcando na maioria dos casos um reboot. Ataques de negações de serviço são facilmente alcançáveis a partir de recursos internos ou conexões externas via extranets e Internet. Habilitar Proteção Cookie TCP SYN vai ajudar a eliminar o problema. Abaixo está uma explicação simples do conceito.

Cada conexão TCP / IP começa com um 3-way handshake

1. O cliente envia um pacote (pacote 1) para o servidor com bit SYN , e espera;
2. Servidor envia uma confirmação do pacote (pacote 2) para o cliente, e espera;
3. O cliente envia um terceiro pacote (pacote 3) que consolida a conexão.

Uma vez que 3-way handshake é feito, o servidor mantém os dados do pacote 1 em uma fila para compará-lo com pacote de 3 e estabelecer a conexão. Esta fila é limitado em tamanho e um tempo limite bastante elevado. O ataque SYN-flood explora este fato e envia um vários pacote do tipo 1 com endereços de origem IP aleatórias, A respostas da fase 3 nunca chegam, e uma vez que a fila de processamento está cheia, o servidor não pode receber mais conexões, sejam eles legítimos ou forjados.

Resumindo :

Esta chamada conexão semi-aberta explora a boa-fé do protocolo TCP que espera por um certo tempo e algumas tentativas de restabelecimento de um sinal ACK válido para retomar a comunicação. A resposta maliciosa ao comando SYN gerada pelo cliente pode ocupar recursos no servidor (memória e processamento) ou causar prejuízos para empresas usando softwares licenciados por conexão (aumento de conexões “ativas”). Pode ser possível ocupar todos os recursos da máquina, com pacotes SYN. Uma vez que todos os recursos estejam ocupados, nenhuma nova conexão (legítima ou não) pode ser feita, resultando em negação de serviço. Alguns podem funcionar mal ou até mesmo travar se ficarem sem recursos desta maneira.

 Algumas contra-medidas para este ataque são os SYN cookies.  Editando o arquivo sysctl.conf (vi /etc/sysctl.conf) e acrescente as linhas:

# Enable/Disable TCP SYN Cookie Protection

net.ipv4.tcp_syncookies = 1

Se esta chave está em (1), o kernel irá enviar apenas o “SYN cookies” e só quando a fila de conexão semi-aberta estiver cheio. Isso vai mitigar os efeitos dos ataques DoS SYN-flood .

 Uma vez que a configuração tiver sido definida, você deve reiniciar sua rede para que a alteração tenha efeito. 

/etc/init.d/network restart

Fonte livro : Securing and Optimizing Linux: The Hacking Solution e wikipedia.org – tradução Aldo silva
Leia também :

Ataque Man in the middle
Técnicas de ataques hacker
Ataque SQLMap