TenbuTenbu

Operacionalização de Modelos

Procedimentos e melhores práticas para projetos com machine learning

 
 

Inovação hiperconectada

Um modelo de machine learning não serve de nada se não está em produção. Imagine criar uma máquina, que ajudaria muito na tomada de decisão, mas para isso as pessoas tivessem que ir consultá-la. Se esta máquina estiver trancada em um quarto, sem acesso, sua utilidade será nula.

Para que ela ajude efetivamente a tomada de decisão, deverá estar disponível, ficar ligada em um recinto, com escadas para acessá-lo e ter uma maneira de se passar instruções a ela. Só sua construção, não ajuda, ela precisa estar acessível.

Essa é a dor de muitas empresas quando se fala de machine learning aplicada. Um cientista constrói um modelo, que nada mais é do que uma função matemática que se alimenta de inputs numéricos e devolve outputs também numéricos.

Depois de construído, são necessárias várias etapas para que esse modelo esteja disponível para ser acessado por outras pessoas e servir do seu real propósito.

Para isso, desenvolvemos procedimentos e tópicos necessários, embasados nas melhores práticas do mercado. Essas melhores práticas se apresentam em 9 pontos, dos quais 4 são essenciais:

Independência

  • Cada modelo está em um container dedicado exclusivamente à ele (é como se fosse um computador que roda APENAS o modelo). Isso é necessário para não haver conflitos e isola o modelo, para caso seja necessária uma manutenção, outros processos não sejam interrompidos.

Disponibilidade

  •  O modelo deve estar disponível para gerar respostas sempre que for requisitado

Governança

  • Governança nos dados imputados no modelo, respostas, logs, etc. A saúde do modelo deve ser monitorada de perto, pois muito provavelmente ele será uma peça fundamental no processo.

Esteira de deployment

  • Um modelo se degrada com o tempo, assim como máquinas. Novos modelos são criados para novas funcionalidades. O tempo entre a manutenção de um modelo ou sua criação até ele estar totalmente disponível deve ser o menor possível. Esse processo pode demorar meses em empresas que não o otimizaram e dias em empresas que já o fizeram.
  • Garantir um desenho operacional para as interações entre as áreas responsáveis pela operacionalização (Cientistas de dados, Engenheiros de dados, Engenheiros de Machine Learning)
  • Padronizar documentos trocados entre as áreas, para garantir menor tempo da esteira como um todo.
operac-modelos

Fora esses aspectos mais importantes, existem outros que ajudam e melhoram mais ainda o processo:

Escalabilidade

  • Bom para alguns casos, a quantidade de processamento escala com a demanda.

Evolução do modelo

  • Rotinas de re-treino devem ser feitas para evitar degradação do modelo e/ou aprimorar sua acurácia.

Versionamento (rastreabilidade)

  • As diferentes versões do modelo (geradas principalmente nos re-treinos) devem ser acessíveis

Monitoramento das previsões do modelo e da sua degradação

  • Dashboards ou outros meios de acompanhar os resultados gerados pelo modelo, assim como sua acurácia, se possível.

Monitoramento off-line da operacionalização de novas versões

  • Ao invés de desligar a versão 1 do modelo para implementar a versão 2, o ideal é acompanhar o desempenho das duas versões para o mesmo dado e deprecar a versão 1 aos poucos
  • Evita surpresas e erros nas novas versões.

Como te ajudamos

Com essas melhores práticas implementadas, o modelo será servido de maneira eficiente. Assim que um pacote de dados for enviado a ele, um resposta será produzida e enviada de volta.

Além de funcionar ininterruptamente, a máquina de decisões estará acessível, com manutenção feita, gerando resultados, sem atrapalhar outras máquinas.

 

Contato

Tel: +55 (11) 3853-1291
E-mail: contato@tenbu.com.br

Para solicitar um orçamento ou tirar alguma dúvida sobre nossos serviços, envie-nos uma mensagem.