Ophalers voor assistenten
Google-NotebookLM is een bot van Google die op verzoek losse pagina's ophaalt voor een AI-assistent. Google-NotebookLM is een AI-gestuurde assistent voor onderzoek en notities die gebruikers helpt informatie samen te vatten uit geüploade bronnen zoals documenten, transcripties of webco…. Of hij robots.txt respecteert is niet gedocumenteerd, en een verzoek dat zich uitgeeft als Google-NotebookLM kun je controleren aan de hand van een gepubliceerd bestand met IP-ranges.
Verzoek meldt
"Google-NotebookLM"
Gecontroleerd aan de hand van
gepubliceerde IP-bereiken van Google
Live check
Plak het adres uit de logregel. Het wordt gecontroleerd aan de hand van wat de beheerder publiceert.
Referentie
| User agent | Google-NotebookLMAlleen token: match op de substring. |
|---|---|
| Beheerder | |
| Doel | Ophalers voor assistenten |
| Respecteert robots.txt | Geen beleid |
| Verificatiemethode | IP-bereikenGepubliceerd bestand met IP-ranges Haalt een URL op die een NotebookLM-gebruiker heeft geplakt. Google rekent deze tot zijn door gebruikers geactiveerde fetchers, die een eigen bestand met IP-bereiken hebben. https://developers.google.com/static/search/apis/ipranges/user-triggered-fetchers-google.json |
| Crawlpatroon | Niet gepubliceerd |
| robots.txt-tokens | Google-NotebookLMNotebookLM |
| Documentatie van de beheerder | https://developers.google.com/search/docs/crawling-indexing/overview-google-crawlers |
Google-NotebookLM is een AI-gestuurde assistent voor onderzoek en notities die gebruikers helpt informatie samen te vatten uit geüploade bronnen zoals documenten, transcripties of webco…
robots.txt
Plak er een in de root van je domein. Regels gelden per token.
User-agent: Google-NotebookLM
User-agent: NotebookLM
Disallow: /User-agent: Google-NotebookLM
User-agent: NotebookLM
Allow: /User-agent: Google-NotebookLM
User-agent: NotebookLM
Allow: /
Disallow: /account/
Disallow: /checkout/
Disallow: /searchPas de Disallow-paden aan zodat ze overeenkomen met je eigen URL's.
Als je Google-NotebookLM blokkeert, krijgt iemand die naar een van je URL's vraagt een foutmelding in plaats van een samenvatting. Dat is een afweging tussen support en reputatie, niet een kwestie van training.
Maak een bestand voor alle crawlersFAQ
Google-NotebookLM is een bot van Google die op verzoek losse pagina's ophaalt voor een AI-assistent. Google-NotebookLM is een AI-gestuurde assistent voor onderzoek en notities die gebruikers helpt informatie samen te vatten uit geüploade bronnen zoals documenten, transcripties of webco…. Of hij robots.txt respecteert is niet gedocumenteerd, en een verzoek dat zich uitgeeft als Google-NotebookLM kun je controleren aan de hand van een gepubliceerd bestand met IP-ranges.
Niet gedocumenteerd. Geen enkele beheerder heeft verklaard of Google-NotebookLM robots.txt leest. Voeg de regel dus toe, maar controleer in je logs of de verzoeken echt stoppen.
Haalt een URL op die een NotebookLM-gebruiker heeft geplakt. Google rekent deze tot zijn door gebruikers geactiveerde fetchers, die een eigen bestand met IP-bereiken hebben. De referentie is gepubliceerd op https://developers.google.com/static/search/apis/ipranges/user-triggered-fetchers-google.json.
Voeg deze user-agent-tokens (Google-NotebookLM, NotebookLM) toe aan robots.txt met Disallow: /. Negeert de crawler robots.txt, filter dan op de user agent in je CDN of reverse proxy en geef daar een 403 terug.
Als je Google-NotebookLM blokkeert, krijgt iemand die naar een van je URL's vraagt een foutmelding in plaats van een samenvatting. Dat is een afweging tussen support en reputatie, niet een kwestie van training.