Relatório técnico
Um motor de detecção de anomalias em C que aprende o comportamento normal de cada equipamento e roda dentro dele, em 11 KB de memória. Funciona com telemetria de servidores, GPUs, aparelhos Android e controladores industriais. Em GPUs, ele também age sozinho: reduz a carga, salva o estado do treino e o transfere antes da falha, inclusive num treino distribuído entre várias GPUs.
Membro do programa NVIDIA Inception.
A Evotech Creative Apps, que desenvolve o Lumen Edge, foi aprovada no programa da NVIDIA para startups.
O problema
Os sistemas de alerta mais comuns comparam cada sinal com um limite fixo: temperatura acima de tanto, memória acima de tanto. Eles avisam quando o problema já chegou. As falhas que custam caro costumam aparecer antes, como uma mudança na relação entre sinais que, olhados um a um, ainda parecem normais.
O Lumen Edge aprende essas relações para cada equipamento e avisa quando elas mudam. Foi feito para rodar onde a telemetria nasce: no servidor, no gateway, no controlador ou no próprio aparelho, sem nuvem, sem GPU e sem alocação dinâmica de memória.
Hoje ele é aplicado em quatro frentes: servidores e datacenter, lendo CPU, memória, disco, rede e latência; infraestrutura de IA, lendo potência, temperatura, clocks e memória das GPUs pela NVML; aparelhos móveis, lendo memória, CPU, temperatura e bateria para avisar vazamento de memória, estrangulamento térmico e degradação de bateria, com a validação em aparelhos em andamento; e controladores industriais, lendo sensores de processo como pressão, vazão, corrente e vibração.
Resultados
Cada teste abaixo teve protocolo, métricas e critério de vitória gravados em histórico versionado antes de ser executado. Os modelos de comparação rodaram com o código oficial dos seus autores.
Telemetria de servidores, teste cego
Doze servidores que o motor nunca tinha visto, do conjunto público ASD. O limiar de alarme foi definido em outro conjunto de dados e congelado antes do teste, como seria numa instalação real.
| Detector | Incidentes detectados | Alarmes falsos por dia |
|---|---|---|
| Lumen Edge | 39-41% | 0,58-0,64 |
| USAD | 22% | 0,11 |
| TranAD | 7% | 0,00 |
GPU NVIDIA
Nove horas de telemetria NVML numa NVIDIA T4, com carga normal e falhas provocadas. Os três vazamentos de memória foram avisados 61, 40 e 130 segundos antes de a memória chegar a 90%, sem nenhum alarme falso (Figura 1).
Uma GPU com defeito, e o treino não cai
Num treino de IA com várias GPUs, uma GPU com defeito derruba o treino inteiro. O reinício padrão do PyTorch volta a rodar nas mesmas GPUs, o defeito volta junto e o treino entra num ciclo de quedas. Com um Lumen Edge em cada GPU, coordenados entre si, a GPU doente é percebida antes de falhar e protegida, o treino continua nas outras sem desacelerar, e o estado de todas é salvo no mesmo passo. Testamos com duas NVIDIA T4, um treino real em PyTorch distribuído, checkpoint de 300 segundos e um defeito de memória que volta a cada reinício, ora numa GPU, ora na outra, em duas sessões de nove blocos em ordem sorteada, com protocolo gravado antes de cada teste.
| Método | Quedas do treino | Trabalho perdido |
|---|---|---|
| Lumen Edge | 0 | 144 s |
| Reinício padrão do PyTorch (torchrun) | 19 | 4.797 s |
| Regras de operação | 12 | 3.078 s |
Proteção automática do treino
O Lumen Edge também age sozinho. Ao perceber o problema, ele pede um checkpoint do job e, se o sinal continua, transfere o job para um processo novo antes da falha. Testamos esse circuito completo numa NVIDIA T4 na AWS, com um job de treino real em PyTorch, vazamento de memória de GPU provocado e falta de memória real, em nove blocos em ordem sorteada, contra a regra usual de monitoramento e contra apenas o checkpoint periódico. Cada checkpoint leva 150 segundos, como o de um modelo grande.
| Método | Trabalho perdido | Jobs derrubados |
|---|---|---|
| Lumen Edge | 633 s | 1 de 3 |
| Regra de 90% da memória | 3.108 s | 3 de 3 |
| Só checkpoint periódico | 3.238 s | 3 de 3 |
Autorreparo sem parar o trabalho
Quando salvar o estado demora mais que o aviso, salvar e transferir não basta: o job cai antes de o checkpoint terminar. Por isso o Lumen Edge age em camadas. Primeiro ele põe o próprio job em modo econômico, com lote menor e clock da GPU reduzido, e o trabalho continua. Ao mesmo tempo salva o estado e, se o sinal persiste, transfere o job. Testamos numa NVIDIA T4 na AWS, com um job de treino real em PyTorch, checkpoint assíncrono de 300 segundos, como o de um modelo grande, e um vazamento de memória de GPU que cresce a cada passada de treino, em nove blocos em ordem sorteada.
| Método | Trabalho perdido | Jobs derrubados |
|---|---|---|
| Lumen Edge em camadas | 1.034 s | 0 de 3 |
| Lumen Edge, só salvar e transferir | 2.810 s | 3 de 3 |
| Regra de 90% da memória | 1.455 s | 1 de 3 |
Aparelho Android
Sessão num aparelho Android com uso normal e falhas reais, usando um modelo treinado em outro dia. Os dois vazamentos de memória foram avisados cerca de 20 minutos antes de a memória disponível cair abaixo de 600 MB, com 2,6 GB ainda livres. O limiar estatístico por canal não avisou nenhum. As duas cargas térmicas foram percebidas em menos de 10 segundos, mas o aparelho não chegou a estrangular, então isso mostra detecção do estresse, não previsão de estrangulamento. Um único aparelho e quatro falhas: a validação em mais aparelhos está em andamento.
Processo industrial
SKAB, 34 ensaios de uma bancada hidráulica, com validação cruzada, contra o melhor modelo do placar público.
| Detector | Alarme falso | Anomalia perdida | F1 |
|---|---|---|---|
| Lumen Edge | 13,1% | 19,7% | 0,838 |
| Conv-AE | 13,6% | 28,0% | 0,784 |
O que é preciso para rodar
Os modelos de comparação são pequenos em si, mas dependem de Python e PyTorch para executar e são treinados fora do equipamento. O Lumen Edge não depende de nada. Medição com o código oficial dos autores, 8 canais.
| Detector | Memória em execução | Dependências | Treino no equipamento |
|---|---|---|---|
| Lumen Edge | 10,9 KB | nenhuma | sim |
| USAD | 166 MB | Python + PyTorch (296 MB) | não |
| TranAD | 166 MB | Python + PyTorch (296 MB) | não |
Onde não indicamos
Em contadores de eventos discretos, como os atributos SMART de discos, regras simples tiveram desempenho melhor no nosso desenvolvimento. O motor é indicado para sinais contínuos com vários canais. Em GPUs, o foco é a memória: superaquecimento repentino e jobs travados não dão sinal antecipado na telemetria da NVML, e para eles os alarmes de limite que já existem continuam sendo a ferramenta certa.
Especificações
| Linguagem | C99, sem biblioteca padrão e sem dependências |
| Memória | 10.896 bytes por instância com 8 canais; nenhuma alocação dinâmica |
| Pilha e constantes | cerca de 400 bytes de pilha; 12 KB de constantes |
| Custo por amostra | cerca de 64 mil instruções em Cortex-M4F |
| Canais | até 8 por instância; várias instâncias no mesmo dispositivo |
| Treino | no próprio dispositivo, a partir do histórico; aprendizado contínuo opcional |
| Reprodutibilidade | resultado idêntico bit a bit entre PC, Cortex-M4F, Cortex-M33 e Android |
| Estabilidade | 10 milhões de amostras seguidas, sem deriva numérica |
| Plataformas | Cortex-M4F e M33; Android aarch64 (API 26+); Linux x86-64 e ARM64; macOS arm64 |
| Coletores | NVML para GPUs NVIDIA; /proc e sysfs no Linux e no Android |
| Entrega | biblioteca estática com API em C |
Pilotos
Trabalhamos com pilotos em modo sombra. O Lumen Edge lê a mesma telemetria que o seu sistema de alerta, sem atuar em nada, e ao fim do período comparamos nos seus dados os incidentes avisados, a antecedência e os alarmes falsos. O critério de sucesso é combinado por escrito antes do início.
O relatório técnico completo, com as limitações conhecidas e os resultados desfavoráveis, é enviado sob acordo de confidencialidade.
Contato: contato@lumenedge.com.br