MARKETIA
ConnexionInscription

Avis MagicMate : Crawl4AI, ce que dit la source

Source vérifiée le 18 octobre 2026 (analyse rédigée le 17 octobre 2026).

Analyse statique des sources publiques : sauf mention contraire sur cette page, rien n'a été installé ni exécuté. Les tests réellement exécutés sont sur la page Tests. Cette page ne donne aucune note. Notre méthode.

Verdict

Une bibliothèque Python qui convertit des pages web en Markdown ou en données structurées pour un agent ou une base de connaissances. Sur notre test (3 pages d'un site local, version 0.9.5), le contenu ajouté par JavaScript n'a été récupéré qu'avec un délai explicite, l'extraction par sélecteurs CSS a fonctionné sans modèle de langage, et la vérification de robots.txt n'est pas active par défaut : une page interdite a été téléchargée tant que check_robots_txt=True n'était pas demandé. Côté licence, une clause d'attribution obligatoire est ajoutée à l'Apache 2.0 ; côté sécurité, deux signalements de sécurité sont ouverts (au 2026-10-18, API GitHub) : #2371 concerne l'image Docker, #2251 une faille XSS dans une application de documentation.

Pour qui (PME française)

  • Une équipe technique qui alimente un agent ou une base documentaire avec du contenu web.
  • La légalité du scraping (conditions des sites, droit des bases de données, RGPD) n'est pas traitée par le README : elle reste à encadrer par vous.

Points forts prouvés

  • Licence Apache 2.0 avec clause d'attribution (fichier LICENSE lu).
  • Exécution de JavaScript, attente d'éléments et défilement de pages dynamiques (README).
  • Installation : pip install -U crawl4ai, puis crawl4ai-setup et crawl4ai-doctor.
  • Extraction par sélecteurs CSS ou XPath sans clé de modèle de langage ; seule l'extraction par LLM suppose un fournisseur, souvent avec clé.

Limites et risques

  • Le LICENSE impose d'afficher la mention « This product includes software developed by UncleCode (https://x.com/unclecode) as part of the Crawl4AI project (https://github.com/unclecode/crawl4ai) » dans toute distribution ou utilisation publique (NOTICE, README, page « Credits », aide en ligne de commande). Le README parle tantôt d'attribution « recommandée », tantôt d'obligation : traitez-la comme obligatoire.
  • Issues ouvertes de sécurité : #2371 (CRAWL4AI_CHROMIUM_SANDBOX=true ne retire pas --no-sandbox dans l'image Docker 0.9.4) et #2251 (XSS dans une application de documentation). Ce sont des signalements, non des failles validées par les mainteneurs.
  • Une offre cloud payante existe (gratuit : 1 000 crédits par mois ; payant à partir de 10 $ par mois ; le README précise « prices can change »).
  • Les usages de veille concurrentielle ou de suivi de prix ne figurent pas dans le README.
  • Le README ne dit rien de robots.txt ni de l'éthique du scraping. Dans notre test du 2026-10-18 (voir le test d'usage), la vérification de robots.txt était désactivée par défaut : une page interdite par ce fichier a été téléchargée et convertie (statut 200), puis refusée (statut 403) avec check_robots_txt=True. Il revient à l'utilisateur de l'activer.
  • Contenu dynamique. Dans le même test, un paragraphe ajouté par JavaScript 500 ms après le chargement était absent du Markdown avec la configuration par défaut et présent avec delay_before_return_html=1.5.

Effort d'installation réel

Court pour la bibliothèque (trois commandes), plus long pour un Docker sécurisé. Mesuré sur un seul cas : le 2026-10-18, sous Windows 11, pip install de Crawl4AI 0.9.5 dans un environnement Python neuf a pris 134 s (701 Mo), puis crawl4ai-setup 40 s (téléchargement, via Playwright puis Patchright, de Chrome for Testing 156, Chrome Headless Shell, FFmpeg et Winldd : 719 Mo au total) ; un premier crawl de pages locales a ensuite fonctionné, voir le test d'usage. Pour un Docker sécurisé, estimation de 30 minutes à 2 heures, non mesurée.

Alternatives

  • Scrapegraph-AI (voir son avis), plus orienté LLM, avec ses propres limites.
  • changedetection.io pour surveiller le changement d'une page sans l'extraire (non couvert ici).

Licence et attention commerciale

Apache 2.0 avec clause d'attribution obligatoire : usage commercial permis, à condition d'afficher la mention exigée. Les modèles téléchargés par l'extra [all] n'ont pas été vérifiés.

Ce que nous n'avons pas testé

Les sections sur la licence, la maintenance et les signalements de sécurité viennent de la lecture des sources publiques. Seul un test d'usage a été exécuté : voir Crawl4AI 0.9.5 testé pour de vrai (installation, puis crawl de 3 pages d'un site local écrit par nous, sous Windows 11). Tout le reste n'a pas été testé, en particulier : le crawl de sites réels, l'extraction par modèle de langage, le mode furtif, le Docker, le serveur d'API, la reproduction des deux issues de sécurité.

Sources (lues le 2026-10-17, test d'usage du 2026-10-18)

Aller plus loin

Recevoir la newsletter Marketia