Eu descobri   pela primeira vez em 2021, quando criei uma demonstração de suas APIs para o blog Adobe Developer (   ). o Diffbot "Natural Language Processing, Adobe PDF Extract e Deep PDF Intelligence"  Naquela época, fiquei impressionado com a facilidade da API do Diffbot e também com a rapidez com que ela respondeu. Fazia algum tempo que eu não via a API deles, mas há alguns dias eles anunciaram um novo suporte para resumir texto. Achei que seria ótimo combinar isso com a   . Aqui está o que eu encontrei. API Adobe PDF Extract  Em primeiro lugar, se quiser experimentar você mesmo, você precisará de:    dos serviços Adobe PDF. Eles são gratuitos e você recebe 500 transações por mês gratuitamente. Para quem talvez não saiba, trabalho para a Adobe e este é um dos produtos que abordo. Credenciais    do Diffbot. Eles oferecem um teste gratuito de duas semanas, mas nenhum nível gratuito. Dito isso, tive que contatá-los algumas vezes durante a construção de coisas, e eles me deram um ótimo suporte, então definitivamente acho que vale a pena conferir. Credenciais  Tudo bem, vamos ver como um fluxo de resumo pode funcionar.  Passo Um – Extraia o Texto  A   (desculpe, a "API Adobe PDF Extract", espere, este é o meu blog, posso encurtar as coisas!) É muito poderosa. Ele usa IA para analisar um PDF de forma inteligente e encontrar corretamente todos os detalhes dos elementos do documento. API Extract  Portanto, texto, fontes, cores, posição e assim por diante. Ele também pode encontrar imagens e dados tabulares, o que leva a alguns casos de uso bastante poderosos. (Para um bom exemplo disso, veja minha   , onde examino várias revistas científicas para coletar e agregar dados astronômicos e criar relatórios.) postagem no blog  Para esta demonstração, precisamos literalmente apenas do texto. Para isso, farei uso das APIs REST. O “fluxo” para quase todos os aspectos dos serviços PDF disponíveis são:  Trocar credenciais por um token de acesso  Peça para fazer upload de um arquivo para entrada (neste caso, um PDF a ser extraído)  Carregar o documento  Dê o pontapé inicial no trabalho  Enquete para conclusão  Baixe os bits  Observe que também existem SDKs que você pode usar, mas achei nossas APIs REST tão simples que acabei de acessar os endpoints diretamente. Aqui está o script que escrevi para fazer o processo de extração. É basicamente tudo o que eu disse acima e apontando para um PDF de origem em meu sistema de arquivos local.   /* This demo is a two step process. This file, step one, handles extracting and storing the JSON from a PDF. */ import 'dotenv/config'; import fs from 'fs'; import { Readable } from 'stream'; import { finished } from 'stream/promises'; const SOURCE_PDF = '../../source_pdfs/boring_adobe_security_doc.pdf'; const REST_API = "https://pdf-services.adobe.io/"; const CLIENT_ID = process.env.CLIENT_ID; const CLIENT_SECRET = process.env.CLIENT_SECRET; async function delay(x) { return new Promise(resolve => { setTimeout(() => resolve(), x); }); } async function getAccessToken(id, secret) { const params = new URLSearchParams(); params.append('client_id', id); params.append('client_secret', secret); let resp = await fetch('https://pdf-services-ue1.adobe.io/token', { method: 'POST', headers: { 'Content-Type':'application/x-www-form-urlencoded' }, body:params }); let data = await resp.json(); return data.access_token; } async function getUploadData(mediaType, token, clientId) { let body = { 'mediaType': mediaType }; body = JSON.stringify(body); let req = await fetch(REST_API+'assets', { method:'post', headers: { 'X-API-Key':clientId, 'Authorization':`Bearer ${token}`, 'Content-Type':'application/json' }, body: body }); let data = await req.json(); return data; } async function uploadFile(url, filePath, mediaType) { let stream = fs.createReadStream(filePath); let stats = fs.statSync(filePath); let fileSizeInBytes = stats.size; let upload = await fetch(url, { method:'PUT', redirect:'follow', headers: { 'Content-Type':mediaType, 'Content-Length':fileSizeInBytes }, duplex:'half', body:stream }); if(upload.status === 200) return; else { throw('Bad result, handle later.'); } } async function pollJob(url, token, clientId) { let status = null; let asset; while(status !== 'done') { let req = await fetch(url, { method:'GET', headers: { 'X-API-Key':clientId, 'Authorization':`Bearer ${token}`, } }); let res = await req.json(); status = res.status; if(status === 'done') { asset = res; } else { await delay(2000); } } return asset; } async function downloadFile(url, filePath) { let res = await fetch(url); const body = Readable.fromWeb(res.body); const download_write_stream = fs.createWriteStream(filePath); return await finished(body.pipe(download_write_stream)); } async function extractJob(asset, token, clientId) { let body = { 'assetID': asset.assetID } let resp = await fetch(REST_API + 'operation/extractpdf', { method: 'POST', headers: { 'Authorization':`Bearer ${token}`, 'X-API-KEY':clientId, 'Content-Type':'application/json' }, body:JSON.stringify(body) }); return resp.headers.get('location'); } let accessToken = await getAccessToken(CLIENT_ID, CLIENT_SECRET); console.log('Got our access token.'); let uploadedAsset = await getUploadData('application/pdf', accessToken, CLIENT_ID); await uploadFile(uploadedAsset.uploadUri, SOURCE_PDF, 'application/pdf'); console.log('Source PDF Uploaded.'); let job = await extractJob(uploadedAsset, accessToken, CLIENT_ID); console.log('Job created. Now to poll it.'); let result = await pollJob(job, accessToken, CLIENT_ID); console.log('Job is done.'); await downloadFile(result.content.downloadUri, 'extract.json'); console.log('All done.');  Ok, espero que você ainda esteja lendo. Em geral, tento evitar postar blocos gigantes de código como esse, mas se você focar nas linhas do final, verá que estou apenas acessando funções utilitárias que fazem o que descrevi no fluxo acima. Autentique, peça para fazer upload de um PDF, inicie um trabalho, verifique e baixe o resultado.  Uma observação que acrescentarei. Extract retorna um arquivo zip contendo um conjunto de resultados JSON e, opcionalmente, tabelas e imagens. Uma coisa legal sobre a API REST é que posso acessar diretamente o JSON e simplesmente armazená-lo.  O resultado JSON pode ser bastante grande. Para meu PDF de origem (um documento de segurança incrivelmente chato da Adobe) de três páginas, o JSON resultante tem 4.560 linhas. Você pode encontrar meu PDF de origem   e a saída bruta do Extract   . aqui aqui  Em vez de colocar todas as 4,5 mil linhas aqui, deixe-me mostrar um trecho - dois elementos exclusivos encontrados pela API:   { "Bounds": [ 44.62139892578125, 756.9429931640625, 245.0037841796875, 766.3184967041016 ], "Font": { "alt_family_name": "* Arial", "embedded": true, "encoding": "Identity-H", "family_name": "* Arial", "font_type": "CIDFontType0", "italic": false, "monospaced": false, "name": "*Arial-6539", "subset": false, "weight": 400 }, "HasClip": false, "Lang": "en", "Page": 0, "Path": "//Document/Sect/P", "Text": "Adobe Vendor Security Review Program White Paper ", "TextSize": 8.5, "attributes": { "SpaceAfter": 18 } }, { "Bounds": [ 0.0, 0.0, 630.0, 820.7799987792969 ], "ClipBounds": [ 548.72802734375, 739.1929931640625, 602.5444488525391, 820.7799987792969 ], "Page": 0, "Path": "//Document/Sect/Figure", "attributes": { "BBox": [ 548.9779999999737, 739.4429999999993, 587.61599999998, 790.920999999973 ], "Placement": "Block" } },  No exemplo acima, você pode ver que o primeiro elemento é textual e contém uma propriedade   , enquanto o segundo é uma figura. Para minha demonstração, só preciso usar a propriedade   quando ela existir. Vamos ver isso em ação. Text Text  Passo Dois – Crie o Resumo  Mencionei anteriormente que a API Diffbot era bastante simples de usar. Deixe-me demonstrar isso.  Primeiro, vou configurar algumas variáveis e ler o JSON que obtive na primeira etapa. Para ser claro, eu poderia fazer tudo em um processo, mas não faz sentido executar o Extract mais de uma vez. O que é legal é que eu poderia fazer   chamadas com base no resultado. várias  Por exemplo, outro recurso interessante que o Diffbot possui é obter entidades de texto, ou seja, sobre o que um documento está falando (pessoas, lugares, etc). De qualquer forma, aqui está o começo:   /* In this file, we take the result from our Extract operation and pass it to Diffbot */ import 'dotenv/config'; import fs from 'fs'; const DIFFBOT_KEY = process.env.DIFFBOT_KEY; const SOURCE_JSON = './extract.json'; const data = JSON.parse(fs.readFileSync(SOURCE_JSON, 'utf8')); console.log(`Read in source data from ${SOURCE_JSON}.`);  Em seguida, preciso analisar o texto do resultado da Extração:   let text = data.elements.reduce((text, el) => { if(el.Text) text += el.Text + '\n'; return text; },'');  Em seguida, crio uma solicitação HTTP para o Diffbot. Verifique seus   para obter mais informações. documentos   let fields = 'summary'; let url = `https://nl.diffbot.com/v1/?fields=${fields}&token=${DIFFBOT_KEY}`; let body = [{ content:text, lang:'en', format:'plain text' }]; console.log('Passing text to Diffbot.'); let req = await fetch(url, { method:'POST', body:JSON.stringify(body), headers: { 'Content-Type':'application/json' } }); let result = await req.json();  E é isso. Como etapa final, simplesmente produzo:   console.log(`Summary of PDF:\n${result[0].summary}`);  Dado o PDF de origem, o resultado final é:   Adobe has a vendor security review program that evaluates vendors that collect, store, process, transmit, or dispose of Adobe data outside of Adobe-controlled physical offices or data center locations. The VSR program includes requirements for vendors to follow when handling sensitive data and assigns a risk level score to vendors based on their compliance with Adobe standards. If a vendor fails the VSR program, Adobe holds discussions with the business owner to understand the details of the vendor's security practices and determine whether or not to continue working with them.  Meu PDF de três páginas agora é um parágrafo simples. Você pode imaginar como isso seria útil para organizações com milhões de documentos. Combine isso com outros serviços (como o recurso de entidades que mencionei anteriormente) e isso torna muito mais fácil trabalhar com grandes bibliotecas.  Tente!  Se você quiser verificar isso sozinho, pode obter todo o código aqui:   . Como eu disse, tudo aqui pode ser testado gratuitamente, então experimente e deixe-me saber o que você achou em um comentário abaixo. https://github.com/cfjedimaster/document-services-demos/tree/main/random_demos/extract_diffbot_summary

My Blog

Buy Me a Coffee

Read My Stories

Este áudio é produzido no idioma original da história!

Como usar serviços de IA e PDF para automatizar resumos de documentos

About Author

COMENTARIOS

Rótulos

ESTE ARTIGO FOI APRESENTADO EM

Related Stories

Criando produtos criptográficos centrados no usuário: a importância do feedback do cliente

O guia completo para uma migração bem-sucedida para a nuvem: estratégias e práticas recomendadas

Toque para ganhar: Telegram pode integrar os próximos 10 bilhões de usuários criptográficos antes de Solana

Liberando o poder da IA. Uma revisão sistemática de técnicas de ponta: resumo e introdução

Criando produtos criptográficos centrados no usuário: a importância do feedback do cliente

O guia completo para uma migração bem-sucedida para a nuvem: estratégias e práticas recomendadas

Toque para ganhar: Telegram pode integrar os próximos 10 bilhões de usuários criptográficos antes de Solana

Liberando o poder da IA. Uma revisão sistemática de técnicas de ponta: resumo e introdução

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps