Como gerar previsões de machine learning sem programação de código

Se esta for a primeira vez que você estiver utilizando o SageMaker na região US-East 1, o SageMaker Canvas criará um bucket do Amazon S3 com um nome que usa o seguinte padrão: sagemaker-<your-Region>-<your-account-id>. Antes de prosseguir com o restante do tutorial, faça o download dos conjuntos de dados abaixo e salve-os em seu computador local. Em seguida, você fará upload dos conjuntos de dados para o bucket padrão do S3 que o SageMaker Canvas criou para você.

Faça download do log de envio e dos conjuntos de dados de produtos sintéticos.

• Shipping Logs (Logs de envio)
• Product Descriptions (Descrições dos produtos)
  

Na barra de pesquisa do Console da AWS, insira S3 e, em seguida, selecione S3.

Quando o console do S3 for aberto, você poderá encontrar o bucket padrão que o SageMaker Canvas criou para você na seção Buckets. Escolha o bucket chamado sagemaker-<your-Region>-<your-account-id> e, na página seguinte, escolha Upload (Fazer upload).

Na página Upload (Fazer upload), escolha Add files (Adicionar arquivos) e selecione os dois conjuntos de dados de que você fez o download na etapa anterior. Role até a parte inferior da página e escolha Upload (Fazer upload). O SageMaker Canvas acessará esses arquivos antes de criar o modelo.

Importe o conjunto de dados para o SageMaker Canvas.

• Na interface do SageMaker Canvas, escolha Datasets (Conjuntos de dados) no painel esquerdo e escolha + Import (+ Importar).
  
• Selecione o bucket do Amazon S3 chamado sagemaker-<your-Region>-<your-account-id> no qual você fez o upload dos conjuntos de dados na etapa anterior. Selecione os conjuntos de dados shipping_logs.csv e product_descriptions.csv marcando as caixas de seleção à esquerda. Dois novos botões aparecerão na parte inferior da sua página: Preview all (Pré-visualizar tudo) e Import data (Importar dados). Escolha Preview all (Pré-visualizar tudo). Isso permite que você tenha acesso a uma pré-visualização de 100 linhas dos conjuntos de dados.
  
• Depois de verificar os conjuntos de dados, escolha Import data (Importar dados) para importá-los para o SageMaker Canvas.
  

Na página SageMaker Canvas, na seção Datasets (Conjuntos de Dados), você encontrará os dois conjuntos de dados que importou. Escolha Join data (Associar dados).

Na página Join Datasets (Associar conjuntos de dados), arraste os dois conjuntos de dados do painel esquerdo para o painel direito. Selecione o ícone de associação entre os dois conjuntos de dados. Uma mensagem pop-up mostrando os detalhes sobre a associação aparecerá. Certifique-se de que o tipo de junção seja Inner (Interna) e a coluna de junção seja ProductId. Escolha Save & close (Salvar e fechar) e, em seguida, selecione Import data (Importar dados).

• Na caixa de diálogo Import data (Importar dados), insira o nome ConsolidatedShippingData no campo de nome Import dataset (Importar conjunto de dados) e escolha Import data (Importar dados).
  
  
  

Na interface do usuário do SageMaker Canvas, escolha Models (Modelos) e selecione + New model (+ Novo modelo). Na caixa de diálogo Create new model (Criar novo modelo), insira ShippingForecast no campo de nome do modelo e escolha Create (Criar).

A página de visualização do modelo consiste em quatro guias que representam as etapas envolvidas na criação de um modelo e na obtenção de previsões. As guias são:

• Select (Selecionar): configure os dados de entrada.
• Build (Criar): crie o modelo de ML.
• Analyze (Analisar): analise o resultado e os recursos do modelo.
• Predict (Prever): realize previsões em massa ou em uma amostra individual.
  

Na guia Select (Selecionar), escolha o botão de opção para o conjunto de dados ConsolidatedShippingData que você criou na etapa anterior. Este conjunto de dados contém 16 colunas e 10 mil linhas. Ele também contém uma descrição de alto nível da forma e do tamanho do conjunto de dados. Escolha Select dataset (Selecionar conjunto de dados).

Depois de selecionar o conjunto de dados, o SageMaker Canvas desloca-se automaticamente para a fase Build (Criar). Nesta guia, escolha a coluna de destino, que é ActualShippingDays para este exemplo. Como esta coluna contém o histórico de dias necessários para a chegada das mercadorias, ela é adequada para ser usada como coluna de destino.

• Depois que a coluna de destino é selecionada, o SageMaker Canvas tenta inferir o tipo de problema de forma automática. Como você deseja saber quantos dias levará para que as mercadorias cheguem ao cliente, esse é um problema de regressão ou de previsão numérica. A regressão estima os valores de uma variável de destino dependente com base em uma ou mais variáveis ou atributos correlacionados a ela. Nesse caso, o SageMaker Canvas inicialmente pode prever esse caso de uso como um problema Time series forecasting type (tipo Previsão de séries temporais) porque detectou uma coluna com datas no conjunto de dados. No entanto, você pode alterar o tipo de problema para Numeric model type (tipo Modelo numérico), selecionando-o manualmente com o link Change type (Alterar tipo) no centro da página.
  

• Observe que a correlação das colunas XShippingDistance e YShippingDistance com o destino é insignificante.
• Como os recursos com correlação insignificante com o destino não são informativos o suficiente para a tarefa de previsão disponível, você pode remover as colunas XShippingDistance,YShippingDistance, ProductID e OrderID porque são chaves primárias e não se espera que contenham informações valiosas. Você pode desmarcar as caixas de seleção.
  
• Você pode selecionar o ícone de barras verticais para inspecionar as distribuições das colunas. Isso é muito útil para destacar desequilíbrios e possíveis desvios nos dados.
  

Para os propósitos deste tutorial, escolha Quick build para iniciar a criação do modelo. Este processo leva menos de cinco minutos para ser concluído.

Após a conclusão da criação do modelo, o SageMaker Canvas alterna automaticamente para a guia Analyze (Analisar) para mostrar os resultados rápidos do treinamento. O modelo SageMaker Canvas criado com o Quick build pode prever o número de dias de envio com margem de +/-1,2333 do valor real. O machine learning introduz alguma estocasticidade no processo de treinamento de modelos, o que pode levar a resultados diferentes para criações diferentes. Portanto, a performance exata em termos de métricas que você obtiver pode ser diferente.

Na guia Overview (Visão geral), o SageMaker Canvas exibe o impacto da coluna ou a importância estimada de cada coluna de entrada na previsão da coluna de destino. Neste exemplo, a coluna ExpectedShippingDays tem o impacto mais significativo na previsão do número de dias de envio. No painel direito, você também pode ver a ordem do impacto de um recurso. Por exemplo, quanto maior o valor de ExpectedShippingDays, mais positivo será o impacto na previsão do número de dias de envio.

Na guia Scoring (Pontuação), você pode visualizar um gráfico que representa a linha de regressão mais adequada para ActualshippingDays. Em média, a previsão do modelo tem uma diferença de +/- 1,2333 do valor real de ActualShippingDays. Para previsão numérica, a seção Scoring (Pontuação) exibe uma linha para indicar o valor previsto do modelo em relação aos dados usados para fazer previsões. Os valores da previsão numérica são frequentemente +/- o valor de RMSE (raiz do erro quadrático médio). O valor que o modelo prevê geralmente está dentro do intervalo de RMSE. O intervalo de RMSE é indicado pela largura da faixa em roxo ao redor da linha. Os valores previstos normalmente estão dentro do intervalo. Para obter uma compreensão mais profunda da performance do modelo, selecione o link Advanced metrics (Métricas avançadas) à direita para exibir a página Advanced metrics (Métricas avançadas).

• As diversas métricas mostradas na página Advanced metrics (Métricas Avançadas) são R2, Erro Médio Absoluto (MAE), Erro Percentual Médio Absoluto (MAPE) e Raiz do Erro Quadrático Médio (RMSE). A página Advanced metrics (Métricas avançadas) também exibe gráficos para inspeção visual da performance do modelo. Uma imagem mostra um gráfico dos resíduos ou erros. A linha horizontal indica um erro zerado ou uma previsão perfeita. Os pontos azuis indicam os erros. A distância entre eles e a linha horizontal indica a magnitude dos erros.
  
• Ao rolar para baixo a página Advanced metrics (Métricas avançadas), você pode visualizar um gráfico de densidade de erros que mostra a distribuição dos erros e sua dispersão em relação ao MAE e à RMSE do modelo. Uma densidade de erro com formato semelhante a uma distribuição normal é indicativa de boa performance do modelo.
  

Para começar a gerar previsões, escolha a guia Predict (Prever).

• Escolha o botão Predict (Prever) na parte inferior da página Analyze (Analisar) ou escolha a guia Predict (Prever). Na página Predict (Prever), a opção Batch prediction (Previsão em lote) já está selecionada. Escolha Select dataset (Selecionar conjunto de dados) e, em seguida, selecione o conjunto de dados ConsolidatedShippingData. Em fluxos de trabalho reais de ML, esse conjunto de dados deve ser separado do conjunto de dados de treinamento. No entanto, para simplificar, aqui você usa o mesmo conjunto de dados para demonstrar como o SageMaker Canvas gera previsões. Escolha Generate predictions (Gerar previsões).
  
• Após alguns segundos, a previsão é gerada. Escolha o ícone de opções e selecione preview (pré-visualizar) para obter uma pré-visualização das previsões ao passar o mouse sobre o nome ou sobre o status do conjunto de dados de previsões. Você também pode escolher Download (Fazer download) para baixar um arquivo CSV contendo todos os resultados. O SageMaker Canvas fornece uma previsão para cada linha de dados. Neste tutorial, o recurso de maior importância é ExpectedShippingDays. Ele também é apresentado ao lado das previsões para que você tenha uma comparação visual.
• Na página Predict (Prever), você pode gerar previsões para uma amostra individual selecionando Single prediction (Previsão individual). O SageMaker Canvas apresenta uma interface na qual você pode inserir manualmente os valores para cada uma das variáveis de entrada usadas no modelo. Esse tipo de análise é ideal para cenários hipotéticos nos quais você deseja saber como a previsão se altera quando uma ou mais variáveis aumentam ou diminuem de valor. Com a previsão do conjunto individual de valores de coluna, o SageMaker Canvas fornece a importância dos recursos de maneira individual. Isso indica quais são as colunas com maior influência na previsão da amostra atual.
  

Para o escopo deste tutorial, o Standard Model (Modelo padrão) não é abrangido. No entanto, o treinamento nesse modo é semelhante às etapas descritas neste tutorial.

Você pode começar dando um nome ao modelo, como ShippingForecastStandardModel. Além disso, na guia Build (Criar), você pode escolher Standard Model (Modelo padrão) em vez de Quick Model (Modelo rápido). A partir desse ponto, prossiga com as etapas restantes. O modo Standard build é vantajoso por fornecer a funcionalidade adicional de poder compartilhar o modelo treinado com cientistas de dados por meio do SageMaker Studio. Isso permite colaboração, aprimoramento rápido do modelo e iterações. A opção de compartilhamento estará disponível na guia Analyze (Analisar) quando o treinamento do modelo for concluído.

Navegue até o console do S3 e selecione a opção Buckets no menu.

Exclua o objeto de teste do seu bucket de teste. Selecione o nome do bucket com o qual você estava trabalhando neste tutorial. Marque a caixa de seleção à esquerda do nome do objeto de teste e selecione o botão Delete (Excluir). Na página Delete objects (Excluir objetos), verifique se você selecionou o objeto correto para excluir e digite permanently delete (excluir permanentemente) na caixa de confirmação Permanently delete objects (Excluir objetos permanentemente). Em seguida, selecione o botão Delete object (Excluir objeto) para continuar. Posteriormente, será apresentada uma faixa de notificação indicando se a exclusão foi bem-sucedida.

Na página principal do SageMaker Canvas, escolha Models (Modelos). No painel direito, o modelo que você criou é visível. Escolha as reticências verticais à direita da opção View (Exibir) e selecione Delete model (Excluir modelo).

No console do SageMaker Studio, selecione studio-user e, para cada aplicação listada em Apps (Aplicações), escolha Delete app (Excluir aplicação). Siga as instruções na tela para confirmar a operação de exclusão. Aguarde até que o status seja exibido como Deleted (Excluído).

Se você usou um domínio existente do SageMaker Studio na Etapa 1, ignore o restante da Etapa 6 e vá diretamente para a seção de conclusão. 

Se você executou o modelo do CloudFormation na Etapa 1 para criar um novo domínio do SageMaker Studio, prossiga com as etapas a seguir para excluir o domínio, o usuário e os recursos criados pelo modelo do CloudFormation.

Para abrir o console do CloudFormation, insira CloudFormation na barra de pesquisa do Console da AWS e escolha CloudFormation nos resultados da pesquisa.

No painel do CloudFormation, escolha Stacks (Pilhas). Na lista suspensa de status, selecione Active (Ativo). Em Stack name (Nome da pilha), escolha CFN-SM-IM-Lambda-Catalog para abrir a página de detalhes da pilha.

Na página de detalhes da pilha CFN-SM-IM-Lambda-Catalog, escolha Delete (Excluir) para excluir a pilha junto com os recursos que ela criou na Etapa 1.