Lumen Edge
Proteção de treino de IA em GPUs NVIDIA

Uma GPU falha. O treino continua.

O Lumen Edge percebe a falha de uma GPU antes que ela aconteça, protege a GPU doente e mantém o treino rodando nas outras. Sem nuvem e sem servidor extra: ele roda dentro do próprio equipamento, em 11 KB de memória.

NVIDIA T4 · memória da GPU e score do Lumen Edgedados reais · 1 amostra por segundo · 960 s
Vazamento de memória numa NVIDIA T4: o Lumen Edge avisa com a memória em 68%, a regra de 90% avisa 130 s depois 100%50%0% limite crítico 90% limiar de alerta MEMÓRIA DA GPU SCORE DO LUMEN EDGE 0 s960 s Lumen Edge avisa memória em 68% regra de 90% 130 s depois
memória em uso, vazamento provocadoscore de anomalia do Lumen Edge
NVIDIA Inception Program
Membro do NVIDIA Inceptionprograma da NVIDIA para startups
Registro de software no INPIprocesso 512026010007-0, feito no Brasil
Testes pré-registradosregras gravadas antes de cada ensaio
0quedas do treino com uma GPU com defeito. Sem o Lumen Edge, foram 19 nos mesmos testes.
33×menos trabalho perdido que o reinício padrão do PyTorch: 144 s contra 4.797 s.
96%da velocidade do treino mantida enquanto a GPU com defeito estava protegida.
11 KBde memória. Roda dentro do equipamento, sem nuvem e sem dependências.
O problema

Uma GPU com defeito derruba o treino inteiro.

Num treino distribuído, basta uma GPU falhar para todas pararem. O reinício padrão volta nas mesmas GPUs, o defeito volta junto e o treino entra num ciclo de quedas.

Cada queda joga fora o trabalho feito desde o último checkpoint. Em modelos grandes, isso são horas de GPU. E os alertas de limite, como o de 90% da memória, avisam quando já não dá tempo de salvar.

SEM LUMEN EDGE queda queda queda COM LUMEN EDGE protege protege protege

Ilustração. Nos testes com duas NVIDIA T4, o reinício padrão caiu 19 vezes e o Lumen Edge nenhuma.

Como funciona

Três passos, sem parar o trabalho.

01

Percebe

Aprende o comportamento normal de cada GPU e percebe o desvio minutos antes da falha, quando os alertas de limite ainda estão em silêncio.

02

Protege

Protege a GPU doente na hora, e o treino segue nas outras sem desacelerar. Nenhuma ação sem necessidade nos ensaios publicados.

03

Recupera

Salva o estado de todas as GPUs no mesmo passo e, se o defeito continuar, transfere o trabalho antes da falha.

Resultados

Testado em GPU real, com as regras definidas antes.

Cada ensaio teve protocolo, métricas e critério de vitória gravados antes de rodar. Os concorrentes rodaram com o código oficial dos autores.

Uma GPU com defeito num treino distribuído

Duas NVIDIA T4, treino real em PyTorch distribuído, checkpoint de 300 s e um defeito de memória que volta a cada reinício. Duas sessões de nove blocos em ordem sorteada.

2 × NVIDIA T4
Quedas do treino
Lumen Edge
0
Reinício padrão do PyTorch
19
Regras de operação
12
Trabalho perdido
Lumen Edge
144 s
Reinício padrão do PyTorch
4.797 s
Regras de operação
3.078 s

Um job que trava no meio do treino

Uma GPU para fora da comunicação e prende as outras, sem nenhum sinal antes. Duas NVIDIA T4, timeout padrão do PyTorch e nove blocos em ordem sorteada.

2 × NVIDIA T4
Tempo até resolver o travamento
Lumen Edge
20 s
Reinício padrão do PyTorch
665 s
Regra de GPU ociosa
300 s
Trabalho perdido
Lumen Edge
526 s
Reinício padrão do PyTorch
2.397 s
Regra de GPU ociosa
1.301 s

Proteção automática

633 s
perdidos, contra 3.108 s da regra de 90%

Job real de treino numa NVIDIA T4 na AWS, com falta de memória real. Checkpoint de 150 s.

Servidores, teste cego

40%
dos incidentes, contra 22% do USAD

Doze servidores nunca vistos, limiar congelado antes do teste, até 1 alarme falso por dia.

Processo industrial

0,838
de F1, contra 0,784 do melhor do placar

SKAB, 34 ensaios de uma bancada hidráulica, com validação cruzada.

Aparelho Android

~20 min
de antecedência nos vazamentos de memória

Uso normal com falhas reais. O limiar estatístico por canal não avisou nenhum.

Ler o relatório técnico completo →
Onde roda

Do cluster de GPUs ao controlador da fábrica.

GPUs NVIDIA

Lê potência, temperatura, clocks e memória pela NVML e protege o treino em várias GPUs.

NVML · PyTorch

Servidores e datacenter

CPU, memória, disco, rede e latência, direto no servidor.

Linux x86-64 · ARM64

Controladores industriais

Pressão, vazão, corrente e vibração, dentro do controlador, sem depender de conexão.

Cortex-M4F · M33

Aparelhos móveis

Vazamento de memória, estresse térmico e bateria, no próprio aparelho.

Android aarch64
C99, sem dependências10,9 KB por instânciasem alocação dinâmicatreina no próprio equipamentoresultado idêntico bit a bit em todas as plataformasbiblioteca estática com API em C
Piloto

Comece com um piloto em modo sombra.

O Lumen Edge lê a mesma telemetria que o seu sistema de alerta, sem atuar em nada. Sem risco para a operação.

contato@lumenedge.com.br
  1. Combinamos por escrito o critério de sucesso antes de começar.
  2. O Lumen Edge observa a sua telemetria em paralelo, sem atuar.
  3. No fim, comparamos nos seus dados os incidentes avisados, a antecedência e os alarmes falsos.