A técnica eficiente melhora a máquina

As imagens para download no site do escritório de notícias do MIT são disponibilizadas para entidades não comerciais, imprensa e público em geral sob uma licença Creative Commons Attribution Non-Commercial No Derivatives. Você não pode alterar as imagens fornecidas, exceto cortá-las no tamanho. Uma linha de crédito deve ser utilizada na reprodução das imagens; se não houver um abaixo, credite as imagens ao "MIT".

imagem anterior imagem seguinte

Modelos poderosos de aprendizado de máquina estão sendo usados ​​para ajudar as pessoas a lidar com problemas difíceis, como identificar doenças em imagens médicas ou detectar obstáculos na estrada para veículos autônomos. Mas os modelos de aprendizado de máquina podem cometer erros, portanto, em configurações de alto risco, é fundamental que os humanos saibam quando confiar nas previsões de um modelo.

A quantificação da incerteza é uma ferramenta que melhora a confiabilidade de um modelo; o modelo produz uma pontuação junto com a previsão que expressa um nível de confiança de que a previsão está correta. Embora a quantificação da incerteza possa ser útil, os métodos existentes geralmente exigem o retreinamento de todo o modelo para fornecer essa capacidade. O treinamento envolve mostrar a um modelo milhões de exemplos para que ele possa aprender uma tarefa. O retreinamento requer milhões de novas entradas de dados, que podem ser caras e difíceis de obter, e também usa grandes quantidades de recursos de computação.

Pesquisadores do MIT e do MIT-IBM Watson AI Lab desenvolveram uma técnica que permite que um modelo execute uma quantificação de incerteza mais eficaz, usando muito menos recursos de computação do que outros métodos e sem dados adicionais. Sua técnica, que não exige que o usuário retreine ou modifique um modelo, é flexível o suficiente para muitas aplicações.

A técnica envolve a criação de um modelo complementar mais simples que auxilie o modelo original de aprendizado de máquina a estimar a incerteza. Esse modelo menor foi projetado para identificar diferentes tipos de incerteza, o que pode ajudar os pesquisadores a detalhar a causa raiz de previsões imprecisas.

"A quantificação da incerteza é essencial para desenvolvedores e usuários de modelos de aprendizado de máquina. Os desenvolvedores podem utilizar medições de incerteza para ajudar a desenvolver modelos mais robustos, enquanto para os usuários, pode adicionar outra camada de confiança ao implantar modelos no mundo real. Nosso O trabalho leva a uma solução mais flexível e prática para a quantificação da incerteza", diz Maohao Shen, estudante de pós-graduação em engenharia elétrica e ciência da computação e principal autor de um artigo sobre essa técnica.

Shen escreveu o artigo com Yuheng Bu, ex-pós-doutorando no Laboratório de Pesquisa em Eletrônica (RLE), que agora é professor assistente na Universidade da Flórida; Prasanna Sattigeri, Soumya Ghosh e Subhro Das, membros da equipe de pesquisa do MIT-IBM Watson AI Lab; e o autor sênior Gregory Wornell, o Sumitomo Professor in Engineering que lidera o Signals, Information, and Algorithms Laboratory RLE e é membro do MIT-IBM Watson AI Lab. A pesquisa será apresentada na Conferência AAAI sobre Inteligência Artificial.

Quantificação da incerteza

Na quantificação da incerteza, um modelo de aprendizado de máquina gera uma pontuação numérica com cada saída para refletir sua confiança na precisão dessa previsão. Incorporar a quantificação de incertezas construindo um novo modelo a partir do zero ou retreinando um modelo existente geralmente requer uma grande quantidade de dados e computação cara, o que geralmente é impraticável. Além do mais, os métodos existentes às vezes têm a consequência não intencional de degradar a qualidade das previsões do modelo.

Os pesquisadores do MIT e do MIT-IBM Watson AI Lab se concentraram no seguinte problema: Dado um modelo pré-treinado, como eles podem capacitá-lo para realizar a quantificação efetiva da incerteza?

Eles resolvem isso criando um modelo menor e mais simples, conhecido como metamodelo, que se conecta ao modelo pré-treinado maior e usa os recursos que o modelo maior já aprendeu para ajudá-lo a fazer avaliações de quantificação de incerteza.