Onion. Tutti gli strati del digitale > Magazine e Sala stampa

Analisi siti web automatizzata (140 siti in 2 ore) con Python e Claude AI: soluzione per agenzie.

05/09/2025, Alessio Guazzo
Aggiornato il 16/10/2025
11 minuti di lettura
Quanto tempo serve per analizzare 100 siti web aziendali? Con metodi tradizionali, forse due settimane.Con il nostro sistema Python + Claude AI, meno di 2 ore.

Il progetto unisce potenza computazionale e intelligenza artificiale per generare in poche ore dati oggettivi su: GDPR compliance detector, AI chatbot detector, performance mobile, desktop, e estrazione email aziendali.

Questo articolo spiega come funziona il nostro software, quali opportunità apre per agenzie e PMI, e perché l’analisi automatizzata è il futuro dell’intelligence digitale.

Spoiler: abbiamo analizzato massivamente 140 siti emiliani e abbiamo scoperto delle cose molto interessanti.
L’articolo con l’analisi completa e report interattivo 2025.

Il software di analisi automatizzata: architettura e funzionamento

Phyton, software di analisi massivo siti web creato da Onion digital, Parma

Il nostro sistema di analisi siti web automatizzata è stato progettato come framework modulare Python, orchestrato da Claude AI per garantire flessibilità, scalabilità e precisione.

Stack tecnologico

Il cuore del software poggia su un’architettura a microservizi scritta interamente in Python 3.10+, con moduli indipendenti che comunicano via API REST. Ogni componente è responsabile di una funzione specifica:

  • Discovery Engine: utilizza Google Custom Search API per identificare domini aziendali in base a keyword, località e settore merceologico
  • Data Scraper: sistema di web scraping basato su Requests + BeautifulSoup4, capace di estrarre contenuti HTML, metadati, script e risorse di ogni sito
  • GDPR Compliance Detector: analizza oltre 25 provider di cookie banner tramite regex avanzate e pattern matching semantico
  • AI Chatbot Detector: rileva 17 soluzioni di intelligenza artificiale conversazionale attraverso fingerprinting di script e analisi DOM
  • PageSpeed Analyzer: integrazione nativa con Google PageSpeed Insights API v5 per misurare performance mobile e desktop
  • Email Extractor: estrazione intelligente di indirizzi email con validazione in tempo reale e filtro antispam
  • Sector Classifier: classificatore automatico basato su NLP che analizza il contenuto testuale del sito e lo categorizza per settore (meccanica, food, ceramica, ecc.)
  • Smart Scoring System: motore di scoring multi-criterio che attribuisce punteggi ponderati da 0 a 10 su 8 dimensioni (brand, qualità tecnica, GDPR, AI, performance, UX, contenuti, mobile).

Come funziona il processo di analisi

Il workflow di analisi si articola in 5 fasi automatizzate:

  1. Input e configurazione: l’utente definisce i parametri di ricerca (settore, zona geografica, numero di aziende target, lingua, criteri di scoring)
  2. Discovery e validazione: il sistema interroga Google CSE per identificare URL pertinenti, filtra automaticamente risultati non rilevanti (directory, enti pubblici, social network) e valida ogni dominio tramite Ultra-Business Validator
  3. Raccolta dati parallela: avvia richieste HTTP concorrenti (fino a 50 thread simultanei) per scaricare homepage, policy page e risorse critiche di ogni sito
  4. Analisi multi-parametro: ogni modulo elabora i dati raccolti in parallelo, generando oltre 40 parametri per azienda (conformità GDPR, tecnologie rilevate, performance mobile, settore, email, presenza social, qualità SEO on-page)
  5. Output e reporting: i risultati vengono aggregati in un database SQLite locale, esportabili in Excel, CSV o JSON, e visualizzabili tramite dashboard interattiva HTML/JavaScript

Il vantaggio competitivo di questo approccio è la velocità di sviluppo: ciò che richiederebbe settimane di programmazione manuale è stato completato in giorni, con una qualità del codice superiore grazie alla capacità di Claude di applicare best practice e pattern consolidati.

Puoi vederlo con i tuoi occhi in questo report interattivo che abbiamo generato.

Opportunità strategiche per agenzie, associazioni e PMI

Il software di analisi automatizzata apre tre macro-opportunità di business.

1. Lead generation qualificata per agenzie marketing

Le agenzie di marketing digitale possono utilizzare il sistema per:
  • Identificare prospect ad alto potenziale: analizzando centinaia di siti in poche ore, l’agenzia può individuare aziende con siti obsoleti, performance scadenti o assenza di GDPR compliance, e proporsi come partner per il redesign
  • Creare report di audit: offrire un’analisi gratuita del sito del prospect (generata in 2 minuti) come strumento di acquisizione clienti
  • Benchmark territoriali: produrre studi di mercato su specifiche zone geografiche (es. “Stato della digitalizzazione delle aziende B2B in Lombardia”) da utilizzare come contenuto di marketing e PR

Caso d’uso reale: abbiamo utilizzato il nostro sistema per mappare 200 aziende del settore food in Emilia-Romagna, generando 15 nuovi contatti qualificati in un mese.

2. Servizi di consulenza per associazioni di categoria

Le associazioni imprenditoriali (Confindustria, CNA, Confartigianato) possono:

  • Monitorare lo stato di digitalizzazione degli associati: generare report annuali sull’evoluzione digitale del settore, identificando best practice e aree di miglioramento
  • Offrire servizi di audit collettivo: proporre agli associati un pacchetto di analisi gratuita del proprio sito web, con scoring comparativo rispetto ai competitor
  • Supportare policy making: utilizzare i dati aggregati per sensibilizzare istituzioni locali su temi come GDPR compliance, accessibilità digitale e innovazione tecnologica

3. Intelligence competitiva per PMI

Le PMI strutturate possono sfruttare il sistema per:

  • Analisi dei competitor: monitorare periodicamente i siti web dei principali concorrenti, tracciando evoluzioni tecnologiche (adozione AI, miglioramenti performance, nuove sezioni)
  • Benchmarking di settore: capire come si posizionano rispetto alla media del proprio settore su metriche oggettive (velocità mobile, qualità SEO, presenza di chatbot AI)
  • Identificazione di gap tecnologici: scoprire tecnologie emergenti adottate dai competitor (es. chatbot AI, cookie consent avanzati, PWA) e valutare l’opportunità di implementarle

ROI stimato: un’azienda di system integrator di medie dimensioni ha investito €3.000 per un’analisi trimestrale automatizzata di 50 competitor, identificando 3 nuove tecnologie da adottare.

Customizzazione totale: adatta il sistema alle tue esigenze

Uno dei principali vantaggi del nostro framework è la modularità estrema: ogni componente può essere attivato, disattivato o personalizzato in base alle specifiche necessità del cliente.

Personalizzazione dei parametri di ricerca

Il sistema consente di definire con precisione:

  • Zona geografica: da una singola provincia a intere nazioni, con supporto per parametri Google (gl, cr, lr) personalizzati
  • Settore merceologico: keyword specifiche (es. “aziende ceramica Sassuolo”, “studi legali Milano”, “ristoranti stellati Emilia-Romagna”)
  • Dimensione aziendale: filtraggio per fatturato, numero dipendenti o altre metriche (se disponibili in database esterni)
  • Lingua: analisi multilingua con pattern GDPR/AI adattati per inglese, tedesco, francese, spagnolo

Esempio di configurazione custom: un cliente del settore legale ha richiesto di disabilitare l’Email Extractor e di aggiungere un modulo custom per rilevare certificazioni professionali (es. avvocato iscritto all’Ordine).

Estensione con moduli proprietari

Per clienti enterprise, offriamo la possibilità di sviluppare moduli custom integrati nel framework, come:

  • Accessibility Checker: verifica conformità WCAG 2.1 livello AA
  • Security Audit: rileva vulnerabilità comuni (SSL, XSS, SQLi)
  • Content Quality Analyzer: valuta leggibilità, originalità e sentiment dei testi
  • Conversion Tracking: identifica presenza di pixel di tracciamento (Google Ads, Meta Pixel, ecc.)

Vantaggi dell’analisi automatizzata vs. analisi manuale

Confrontiamo l’approccio tradizionale con il nostro sistema automatizzato su 10 dimensioni chiave:

Criterio Analisi manuale Sistema automatizzato Vantaggio
Tempo 2-3 settimane per 100 siti 2 ore per 140 siti 95% più veloce
Costo €50-100 per sito (analista junior) €10-30 API + €500 setup 90% più economico a scala
Scalabilità Max 10 siti/giorno/analista Illimitato (solo limiti API) Infinita
Coerenza Alta variabilità inter-analista 100% coerente Zero errori umani
Oggettività Soggettività nelle valutazioni qualitative Criteri matematici replicabili Totale
Profondità 5-10 parametri per sito 40+ parametri per sito 4x più dati
Aggiornabilità Report statici, non aggiornabili Rianalisi in 2 ore Sempre attuale
Copertura geografica Limitata a poche province Nazionale/internazionale Globale
Riproducibilità Difficile replicare analisi 100% replicabile Perfetta
Tracciabilità Report Excel manuali Database SQLite + log completi Audit trail totale

Perché l’automazione è il futuro dell’analisi web

Tre ragioni rendono l’approccio automatizzato inevitabile per chiunque voglia rimanere competitivo:

  1. Velocità come vantaggio competitivo: nel B2B, chi arriva primo dal prospect con un’analisi dettagliata ha il 70% di probabilità in più di chiudere il deal
  2. Dati come asset strategico: accumulare dati storici su centinaia di aziende consente di identificare trend emergenti prima dei competitor
  3. Scalabilità senza limiti: un’agenzia con 5 analisti può gestire max 100 clienti/anno manualmente; con il sistema automatizzato, può analizzare 10.000 aziende/anno

Quando l’analisi manuale è ancora necessaria:

  • Valutazioni qualitative profonde (es. audit UX con test utente)
  • Analisi strategica di posizionamento brand
  • Consulting di alto livello che richiede esperienza umana

Il modello ibrido vincente: utilizzare il sistema automatizzato per la fase di discovery e pre-audit, riservando l’intervento umano solo sui casi più promettenti o complessi.

Confronto con altri software di web audit

Sul mercato esistono diversi tool per l’analisi automatizzata di siti web. Ecco come si posiziona il nostro sistema rispetto ai principali competitor:

Screaming Frog SEO Spider

Punti di forza: eccellente per crawling tecnico SEO, analisi link interni, sitemap. Limiti:

  • Richiede installazione desktop (non cloud)
  • Licenza €149/anno per versione completa
  • Non include GDPR/AI detection
  • Max 500 URL in versione free

Nostro vantaggio: analisi batch di centinaia di siti diversi (non solo uno), detection GDPR/AI nativo, scoring multi-criterio, costo marginale quasi zero dopo setup iniziale.

SEMrush Site Audit

Punti di forza: dashboard professionale, integrazioni con Google Analytics, report automatici. Limiti:

  • Costo proibitivo per PMI (da €99 a €449/mese)
  • Limitato a 100.000 pagine/mese in piano base
  • Non personalizzabile (black box proprietario)
  • Focus solo SEO, nessun audit GDPR o AI

Nostro vantaggio: costi fissi bassi, modularità totale, possibilità di customizzare ogni aspetto, ownership completa del codice e dei dati.

Ahrefs Webmaster Tools

Punti di forza: gratuito per il proprio sito, ottimo per analisi backlink e keyword research. Limiti:

  • Funziona solo per siti di cui si è proprietari (richiede verifica)
  • Non adatto per analisi competitor di massa
  • Nessun detection GDPR/AI

Nostro vantaggio: analisi di qualsiasi sito pubblico senza necessità di accesso, focus su dimensioni non-SEO (compliance, tecnologie AI), export dati grezzo per elaborazioni custom.

Google Lighthouse / PageSpeed Insights

Punti di forza: gratuito, standard de facto per performance, integrato in Chrome DevTools. Limiti:

  • Solo performance e accessibility
  • Un sito alla volta (no batch)
  • Nessuna classificazione settoriale o scoring comparativo

Nostro vantaggio: integra PageSpeed API nativamente ma aggiunge 7 dimensioni di analisi aggiuntive, elaborazione batch, confronto competitor, export strutturato.

Tabella comparativa sintetica

Feature Il nostro sistema Screaming Frog SEMrush Ahrefs Lighthouse
Analisi batch ✅ 100+ siti ❌ Uno alla volta ⚠️ Limitato ❌ Solo siti verificati ❌ Uno alla volta
GDPR Detection ✅ 25+ provider
AI Detection ✅ 17 soluzioni
Performance ✅ API nativa ⚠️ Basic ⚠️ Basic
Customizzazione ✅ Totale ⚠️ Limitata
Costo (100 siti) ~€30 API ~€0 (free) / €149 (pro) €99-449/mese Gratis (limiti) Gratis
Scoring comparativo ✅ 8 dimensioni ⚠️ Solo SEO ⚠️ Solo SEO ⚠️ Solo perf
Export dati ✅ Excel/CSV/JSON ⚠️ PDF/JSON

Conclusione: il nostro sistema non sostituisce tool specializzati come SEMrush o Screaming Frog per analisi SEO approfondite, ma offre un valore unico per chi necessita di analisi comparative di massa su dimensioni oltre il SEO (compliance, AI, scoring multi-criterio).

Report generati in automatico: 100% personalizzabili

Analisi Siti Web Automatizzata (140 Siti in 2 Ore), report custom

Il sistema genera tre tipologie di report, ciascuna con livelli di customizzazione diversi:

1. Report Excel dettagliato (raw data)

Formato: .xlsx multi-tab.
Contenuto:

  • Tab “Overview”: tabella riassuntiva con scoring aggregato
  • Tab “GDPR”: dettaglio provider rilevati, livello conformità, note
  • Tab “AI Tech”: chatbot identificati, URL widget, vendor
  • Tab “Performance”: mobile score, desktop score, FCP, LCP, TTI, CLS
  • Tab “Contacts”: email estratte (validate), link social, telefono (se rilevato)
  • Tab “SEO Basic”: title, meta description, H1, canonical, robots.txt

Personalizzazione:

  • Aggiunta/rimozione colonne
  • Filtri pre-applicati
  • Formattazione condizionale (celle rosse per score <5, verdi per >8)
  • Export in CSV per elaborazioni esterne

Caso d’uso: associazione di categoria che vuole elaborare statistiche aggregate con Power BI o Tableau.

2. Dashboard interattiva HTML

Formato: .html standalone (zero dipendenze esterne).
Contenuto:

  • Homepage con KPI principali (% GDPR compliant, media performance mobile, top 10 aziende)
  • Mappa geografica interattiva (se coordinate disponibili)
  • Grafici comparativi (bar chart per settore, scatter plot performance vs. GDPR)
  • Tabella filtrable/sortable con tutti i parametri
  • Pagine di dettaglio per ogni azienda (scheda tecnica completa)

Personalizzazione:

  • Colori e loghi aziendali custom
  • Aggiunta sezioni narrative (es. executive summary)
  • Export PDF della dashboard
  • White label completo (nessun riferimento a Onion Digital)

Caso d’uso: agenzia marketing che vuole presentare un report professionale a un cliente prospect.

3. Report PDF esecutivo

Formato: .pdf (generato via LaTeX o WeasyPrint).
Contenuto:

  • Executive summary (1 pagina)
  • Metodologia e campione analizzato (1 pagina)
  • Risultati aggregati con grafici (3-5 pagine)
  • Top 10 e Bottom 10 aziende (2 pagine)
  • Conclusioni e raccomandazioni (1 pagina)

Personalizzazione:

  • Template grafico custom (colori, font, layout)
  • Lingua del report (IT, EN, DE, FR, ES)
  • Sezioni opzionali (es. focus su un settore specifico)

Caso d’uso: studio di mercato da allegare a una presentazione istituzionale o pubblicazione scientifica.

Workflow di personalizzazione report

Per clienti che acquistano il servizio “chiavi in mano”, seguiamo questo processo:

  1. Kick-off call (30 min): raccogliamo esigenze, KPI prioritari, audience del report
  2. Mock-up report (2-3 giorni): condividiamo una bozza su dati di test
  3. Feedback e iterazione (1-2 round): apportiamo modifiche fino a soddisfazione cliente
  4. Consegna finale (1 giorno): report definitivo + file sorgente (Excel/HTML) + documentazione

Costo personalizzazione report: su richiesta.

Case study Onion: digitalizzazione aziende Emilia-Romagna

Abbiamo testato il sistema su un campione di 140 aziende B2B dell’Emilia-Romagna, producendo un report completo in meno di 2 ore. I risultati hanno evidenziato:

  • 74,3% di conformità GDPR (104 aziende su 140 hanno un cookie banner rilevato)
  • 6,4% adozione AI (9 aziende utilizzano chatbot o tool di intelligenza artificiale)
  • Performance mobile media: 57,2/100 (PageSpeed score), con forti differenze tra settori
  • Settore più digitalizzato: meccanica (score medio 7.61/10)
  • Settore meno digitalizzato: ceramica (score medio 5.1/10)

ANALISI COMPLETA DIGITALIZZAZIONE SITI WEB EMILIA-ROMAGNA PUBBLICATO.

Richiedi una demo o un preventivo personalizzato

Vuoi testare il sistema sulla tua zona geografica o settore? Offriamo:

  • Demo gratuita: analisi di 10 aziende a scelta (consegna in 24h)
  • Preventivo su misura: report completo da 50 a 500+ aziende, con personalizzazione report

Contatti: ciao@oniondigital.it | Whatsapp: +39 379 241 9101

Realizzazione siti web, Alessio Guazzo - Onion Digital - Parma

Alessio Guazzo

Digital Art Director
@Onion Parma
ciao@oniondigital.it

Mi chiamo Alessio Guazzo e mi occupo della progettazione e realizzazione di siti web e di SEO. Designer di interfacce e sviluppatore web con la passione per il marketing e la SEO. Il mio focus è unire la funzionalità user-centered con l’estetica, dedicando tempo e studiano ogni giorno.
Assieme a Diletta ho fondato Onion a settembre 2024, ma la nostra esperienza è ventennale.
Motociclista racing n.57, andavo in skate negli anni ’90 e leggevo Dylan Dog. Appassionato di Ritorno al Futuro e musica rock’n’roll: polistrumentista, suonavo una una rock band!
Collezionista di Lego (e altro) Bat Man.

Richiedi un preventivo per consulenza, creazione sito web, seo o strategie di marketing.

Ti ricontatteremo entro 24 ore per una valutazione personalizzata del tuo progetto o richiesta, senza impegno.