Uma GPU falha. O treino continua.
O Lumen Edge percebe a falha de uma GPU antes que ela aconteça, protege a GPU doente e mantém o treino rodando nas outras. Sem nuvem e sem servidor extra: ele roda dentro do próprio equipamento, em 11 KB de memória.
Uma GPU com defeito derruba o treino inteiro.
Num treino distribuído, basta uma GPU falhar para todas pararem. O reinício padrão volta nas mesmas GPUs, o defeito volta junto e o treino entra num ciclo de quedas.
Cada queda joga fora o trabalho feito desde o último checkpoint. Em modelos grandes, isso são horas de GPU. E os alertas de limite, como o de 90% da memória, avisam quando já não dá tempo de salvar.
Ilustração. Nos testes com duas NVIDIA T4, o reinício padrão caiu 19 vezes e o Lumen Edge nenhuma.
Três passos, sem parar o trabalho.
Percebe
Aprende o comportamento normal de cada GPU e percebe o desvio minutos antes da falha, quando os alertas de limite ainda estão em silêncio.
Protege
Protege a GPU doente na hora, e o treino segue nas outras sem desacelerar. Nenhuma ação sem necessidade nos ensaios publicados.
Recupera
Salva o estado de todas as GPUs no mesmo passo e, se o defeito continuar, transfere o trabalho antes da falha.
Testado em GPU real, com as regras definidas antes.
Cada ensaio teve protocolo, métricas e critério de vitória gravados antes de rodar. Os concorrentes rodaram com o código oficial dos autores.
Uma GPU com defeito num treino distribuído
Duas NVIDIA T4, treino real em PyTorch distribuído, checkpoint de 300 s e um defeito de memória que volta a cada reinício. Duas sessões de nove blocos em ordem sorteada.
Um job que trava no meio do treino
Uma GPU para fora da comunicação e prende as outras, sem nenhum sinal antes. Duas NVIDIA T4, timeout padrão do PyTorch e nove blocos em ordem sorteada.
Proteção automática
Job real de treino numa NVIDIA T4 na AWS, com falta de memória real. Checkpoint de 150 s.
Servidores, teste cego
Doze servidores nunca vistos, limiar congelado antes do teste, até 1 alarme falso por dia.
Processo industrial
SKAB, 34 ensaios de uma bancada hidráulica, com validação cruzada.
Aparelho Android
Uso normal com falhas reais. O limiar estatístico por canal não avisou nenhum.
Do cluster de GPUs ao controlador da fábrica.
GPUs NVIDIA
Lê potência, temperatura, clocks e memória pela NVML e protege o treino em várias GPUs.
NVML · PyTorchServidores e datacenter
CPU, memória, disco, rede e latência, direto no servidor.
Linux x86-64 · ARM64Controladores industriais
Pressão, vazão, corrente e vibração, dentro do controlador, sem depender de conexão.
Cortex-M4F · M33Aparelhos móveis
Vazamento de memória, estresse térmico e bateria, no próprio aparelho.
Android aarch64Comece com um piloto em modo sombra.
O Lumen Edge lê a mesma telemetria que o seu sistema de alerta, sem atuar em nada. Sem risco para a operação.
contato@lumenedge.com.br- Combinamos por escrito o critério de sucesso antes de começar.
- O Lumen Edge observa a sua telemetria em paralelo, sem atuar.
- No fim, comparamos nos seus dados os incidentes avisados, a antecedência e os alarmes falsos.