Ophalers voor assistenten
Meta-ExternalFetcher is een bot van Meta die op verzoek losse pagina's ophaalt voor een AI-assistent. Meta-ExternalFetcher wordt door AI-producten van Meta ingezet naar aanleiding van prompts van gebruikers, wanneer ze een afzonderlijke link moeten ophalen. Volgens de documentatie volgt hij robots.txt niet, en een verzoek dat zich uitgeeft als Meta-ExternalFetcher kun je controleren aan de hand van het ASN dat de beheerder aankondigt.
Verzoek meldt
"Meta-ExternalFetcher"
Gecontroleerd aan de hand van
ASN van Meta
Live check
Plak het adres uit de logregel. Het wordt gecontroleerd aan de hand van wat de beheerder publiceert.
Referentie
| User agent | Meta-ExternalFetcherAlleen token: match op de substring. |
|---|---|
| Beheerder | Meta |
| Doel | Ophalers voor assistenten |
| Respecteert robots.txt | Negeertbron |
| Verificatiemethode | ASN van exploitantControle op ASN van de beheerder Dezelfde controle op AS32934 als bij de andere Meta-agents. Deze haalt één URL op die een gebruiker met een AI-assistent van Meta heeft gedeeld. https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/ |
| Crawlpatroon | Niet gepubliceerd |
| robots.txt-tokens | Meta-ExternalFetchermeta-externalfetcher |
| Documentatie van de beheerder | https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/ |
Meta-ExternalFetcher wordt door AI-producten van Meta ingezet naar aanleiding van prompts van gebruikers, wanneer ze een afzonderlijke link moeten ophalen.
robots.txt
Volgens de documentatie negeert Meta-ExternalFetcher robots.txt. Dwing een blokkade ook af via je CDN.
User-agent: Meta-ExternalFetcher
User-agent: meta-externalfetcher
Disallow: /User-agent: Meta-ExternalFetcher
User-agent: meta-externalfetcher
Allow: /User-agent: Meta-ExternalFetcher
User-agent: meta-externalfetcher
Allow: /
Disallow: /account/
Disallow: /checkout/
Disallow: /searchPas de Disallow-paden aan zodat ze overeenkomen met je eigen URL's.
Als je Meta-ExternalFetcher blokkeert, krijgt iemand die naar een van je URL's vraagt een foutmelding in plaats van een samenvatting. Dat is een afweging tussen support en reputatie, niet een kwestie van training.
Maak een bestand voor alle crawlersFAQ
Meta-ExternalFetcher is een bot van Meta die op verzoek losse pagina's ophaalt voor een AI-assistent. Meta-ExternalFetcher wordt door AI-producten van Meta ingezet naar aanleiding van prompts van gebruikers, wanneer ze een afzonderlijke link moeten ophalen. Volgens de documentatie volgt hij robots.txt niet, en een verzoek dat zich uitgeeft als Meta-ExternalFetcher kun je controleren aan de hand van het ASN dat de beheerder aankondigt.
Nee. Volgens de documentatie volgt Meta-ExternalFetcher robots.txt niet, dus een Disallow-regel houdt hem niet tegen. Je moet aan de rand van je netwerk blokkeren, op user agent of op bronadres.
Dezelfde controle op AS32934 als bij de andere Meta-agents. Deze haalt één URL op die een gebruiker met een AI-assistent van Meta heeft gedeeld. De referentie is gepubliceerd op https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/.
Voeg deze user-agent-tokens (Meta-ExternalFetcher, meta-externalfetcher) toe aan robots.txt met Disallow: /. Negeert de crawler robots.txt, filter dan op de user agent in je CDN of reverse proxy en geef daar een 403 terug.
Als je Meta-ExternalFetcher blokkeert, krijgt iemand die naar een van je URL's vraagt een foutmelding in plaats van een samenvatting. Dat is een afweging tussen support en reputatie, niet een kwestie van training.