Pular para o conteúdo principal
Docs
Acessar Studio
Roberty Studio
RPAMódulos

Image Recognition

Image Recognition

O módulo Image Recognition é responsável por realizar o reconhecimento de imagens na tela do dispositivo e fazer determinadas ações com base na imagem reconhecida. Seus métodos podem ser acessados conforme o exemplo abaixo:

js
await ImageRecognition.waitFor["v1_0_0"]({
  imagePath: `C:/Users/Roberty/Downloads/teste.png`,
})

Métodos​

advancedOcr​

Método responsável por realizar reconhecimento óptico de caracteres avançado em um arquivo, com suporte a extração de palavras, linhas, tabelas, formulários e consultas estruturadas.

js
const result = await ImageRecognition.advancedOcr["v1_0_0"]({
  filePath: 'C:/Users/Roberty/Documents/documento.pdf',
  featureType: ['WORD', 'LINE', 'TABLE'],
})

Parâmetros obrigatórios​

  • filePath: String - caminho do arquivo de imagem ou PDF que será processado.
  • featureType: String[] - lista de tipos de conteúdo a serem extraídos. Valores: WORD | LINE | TABLE | FORM | QUERY.

Parâmetros opcionais​

  • timeout: Number - tempo máximo em segundos para aguardar o processamento. Valor padrão: 120.
  • pageRanges: String - intervalo de páginas a processar (ex.: 1-3, 2). Aplicável apenas a PDFs.
  • queries: String[] - lista de perguntas para extração dirigida de informações do documento (requer QUERY em featureType).
  • actionId: String - identificador da ação para controle de execução.

Retorno​

A constante ou variável criada, como o result do exemplo mostrado anteriormente, receberá um objeto com as seguintes propriedades:

  • result.words: Object[] - lista de palavras reconhecidas com suas posições.
  • result.lines: Object[] - lista de linhas reconhecidas com suas posições.
  • result.queries: Object[] - respostas das consultas informadas no parâmetro queries.
  • result.forms: Object[] - pares chave-valor extraídos de formulários.
  • result.tables: Object[] - tabelas extraídas com suas linhas e colunas.
  • result.content: String - todo o conteúdo textual extraído do documento.

captchaNormal​

Ação responsável por resolver captcha do tipo normal. Captcha normal é uma imagem que contém texto distorcido, mas legível por humanos.

js
const captchaNormal = await Captcha.normal["v1_0_0"]({
  img: ''
})

Parâmetros obrigatórios​

  • img: String - espera o valor da imagem que deve ser informado em base 64.

Retorno​

A constante ou variável criada, como a captchaNormal do exemplo, receberá diretamente a string com o texto resolvido do captcha.

captchaText​

Ação responsável por resolver captcha de texto. Texto Captcha é um tipo de captcha que é representado como texto e não contém imagens. Normalmente, você precisa responder a uma pergunta para passar na verificação.

js
const captchaText = await Captcha.text["v1_0_0"]({
  textCaptcha: ''
})

Parâmetros obrigatórios​

  • textCaptcha: String - espera o texto do captcha que precisa ser respondido.

Retorno​

A constante ou variável criada, como a captchaText do exemplo, receberá diretamente a string com a resposta do captcha.

disappear​

Método responsável por esperar que imagens desapareçam na tela. Enquanto todas as imagens não desaparecerem, o método não é finalizado. A verificação é repetida a cada interval segundos; se nenhuma das imagens estiver na tela, o método finaliza imediatamente.

js
const disappearedImage = await ImageRecognition.disappear["v1_0_0"]({
  imagePath: [`C:/Users/Roberty/Downloads/teste.png`, `C:/Users/Roberty/Downloads/teste2.png`],
})

Parâmetros obrigatórios​

  • imagePath: String[] - espera um array de strings com os caminhos das imagens que serão esperadas para desaparecer da tela.

Parâmetros opcionais​

  • options: Object - espera um objeto com as opções do método. As opções são:
    • region: Object - espera um objeto com as coordenadas da região da tela onde a imagem será esperada. As coordenadas são:
      • x: Number - coordenada x da região.
      • y: Number - coordenada y da região.
      • width: Number - largura da região.
      • height: Number - altura da região.
    • threshold: Number - espera um número de 0 a 1 que representa a semelhança entre a imagem salva e a imagem que está sendo esperada na tela.
  • interval: Number - tempo em segundos entre cada verificação. Valor padrão: 5.
  • attempts: Number - quantidade máxima de verificações em que as imagens ainda estão na tela. Ao atingir esse número, a execução é interrompida com erro. Se não for informado, o método aguarda indefinidamente.

Retorno​

A constante ou variável criada, como a disappearedImage do exemplo mostrado anteriormente, receberá o valor true quando as imagens desaparecerem. Se o número de attempts for atingido antes disso, a execução é interrompida com erro.

exists​

Método responsável por verificar se uma imagem existe ou não na tela.

js
const existImage = await ImageRecognition.exists["v1_0_0"]({
  imagePath: `C:/Users/Roberty/Downloads/teste.png`
})

Parâmetros obrigatórios​

  • imagePath: String - espera uma string com o caminho da imagem que será verificada.

Parâmetros opcionais​

  • options: Object - espera um objeto com as opções do método. As opções são:
    • region: Object - espera um objeto com as coordenadas da região da tela onde a imagem será verificada. As coordenadas são:
      • x: Number - coordenada x da região.
      • y: Number - coordenada y da região.
      • width: Number - largura da região.
      • height: Number - altura da região.
    • threshold: Number - espera um número de 0 a 1 que representa a semelhança entre a imagem salva e a imagem que está sendo verificada na tela.

Retorno​

A constante ou variável criada, como a existImage do exemplo mostrado anteriormente, receberá um valor do tipo boolean. Se a imagem existir, o valor retornado será true, caso contrário, o valor retornado será false.

find​

Método responsável por encontrar a posição de uma imagem na tela.

js
const foundImage = await ImageRecognition.find["v1_0_0"]({
  imagePath: `C:/Users/Roberty/Downloads/teste.png`
})

Parâmetros obrigatórios​

  • imagePath: String - espera uma string com o caminho da imagem que será encontrada.

Parâmetros opcionais​

  • options: Object - espera um objeto com as opções do método. As opções são:
    • region: Object - espera um objeto com as coordenadas da região da tela onde a imagem será encontrada. As coordenadas são:
      • x: Number - coordenada x da região.
      • y: Number - coordenada y da região.
      • width: Number - largura da região.
      • height: Number - altura da região.
    • threshold: Number - espera um número de 0 a 1 que representa a semelhança entre a imagem salva e a imagem que está sendo encontrada na tela.
    • timeout: Number - tempo em segundos que o método esperará para encontrar a imagem. Valor padrão: 30.

Retorno​

A constante ou variável criada, como a foundImage do exemplo mostrado anteriormente, receberá um valor do tipo Object. O objeto retornado terá as seguintes propriedades:

  • foundImage.x: Number - coordenada x da posição da imagem encontrada.
  • foundImage.y: Number - coordenada y da posição da imagem encontrada.
  • foundImage.w: Number - largura da imagem encontrada.
  • foundImage.h: Number - altura da imagem encontrada.
  • foundImage.exists: Boolean - indica se a imagem foi encontrada ou não.
  • foundImage.center: Object - coordenadas do centro da imagem encontrada:
    • x: Number - coordenada x do centro.
    • y: Number - coordenada y do centro.

findAndClick​

Método responsável por clicar em uma imagem encontrada na tela.

js
await ImageRecognition.findAndClick["v1_0_0"]({
  imagePath: `C:/Users/Roberty/Downloads/teste.png`
})

Parâmetros obrigatórios​

  • imagePath: String - espera uma string com o caminho da imagem que será clicada.

Parâmetros opcionais​

  • button: String - espera uma string com o botão que será clicado. Valores: left | right. Valor padrão: left.
  • times: Number - quantidade de cliques. Valor padrão: 1.
  • options: Object - espera um objeto com as opções do método. As opções são:
    • region: Object - coordenadas da região da tela onde a imagem será encontrada:
      • x: Number - coordenada x da região.
      • y: Number - coordenada y da região.
      • width: Number - largura da região.
      • height: Number - altura da região.
    • threshold: Number - espera um número de 0 a 1 que representa a semelhança entre a imagem salva e a imagem que está sendo encontrada na tela.
    • timeout: Number - tempo em segundos que o método esperará para encontrar a imagem. Valor padrão: 30.

Retorno​

Este método não retorna valores.

findAndMoveMouse​

Método responsável por mover o mouse até uma imagem encontrada na tela.

js
await ImageRecognition.findAndMoveMouse["v1_0_0"]({
  imagePath: `C:/Users/Roberty/Downloads/teste.png`
})

Parâmetros obrigatórios​

  • imagePath: String - espera uma string com o caminho da imagem que será encontrada na tela e receberá a ação do mouse.

Parâmetros opcionais​

  • options: Object - espera um objeto com as opções do método. As opções são:
    • region: Object - coordenadas da região da tela onde a imagem será encontrada:
      • x: Number - coordenada x da região.
      • y: Number - coordenada y da região.
      • width: Number - largura da região.
      • height: Number - altura da região.
    • threshold: Number - espera um número de 0 a 1 que representa a semelhança entre a imagem salva e a imagem que está sendo encontrada na tela.
    • timeout: Number - tempo em segundos que o método esperará para encontrar a imagem. Valor padrão: 30.

Retorno​

Este método não retorna valores.

ocr​

Método responsável por realizar o reconhecimento de caracteres presentes em uma determinada imagem.

js
const ocrImage = await ImageRecognition.ocr["v1_0_0"]({
  image: `C:/Users/Roberty/Downloads/teste.png`,
  lang: `pt`
})

Parâmetros obrigatórios​

  • image: String - espera uma string com o caminho da imagem que será reconhecida.

Parâmetros opcionais​

  • lang: String - espera uma string com o idioma que será utilizado para reconhecer os caracteres. Valor padrão: pt. As opções de idiomas são:
    • pt: Português
    • en: Inglês

Retorno​

A constante ou variável criada, como a ocrImage do exemplo mostrado anteriormente, receberá um valor do tipo String. Essa string representa os caracteres reconhecidos na imagem.

waitFor​

Método responsável por esperar por uma imagem na tela principal do dispositivo. Caso a imagem não seja encontrada no tempo estipulado (timeout), a execução do código será interrompida com erro.

js
const awaitedImage = await ImageRecognition.waitFor["v1_0_0"]({
  imagePath: `C:/Users/Roberty/Downloads/teste.png`
})

Parâmetros obrigatórios​

  • imagePath: String - espera uma string com o caminho da imagem que será esperada na tela.

Parâmetros opcionais​

  • options: Object - espera um objeto com as opções do método. As opções são:
    • timeout: Number - tempo de espera em segundos para a imagem ser encontrada. Valor padrão: 30.
    • region: Object - coordenadas da região da tela onde a imagem será esperada:
      • x: Number - coordenada x da região.
      • y: Number - coordenada y da região.
      • width: Number - largura da região.
      • height: Number - altura da região.
    • threshold: Number - espera um número de 0 a 1 que representa a semelhança da imagem que será esperada.

Retorno​

Este método não possui retorno.