diff options
-rw-r--r-- | robots.txt | 39 |
1 files changed, 38 insertions, 1 deletions
@@ -1,4 +1,41 @@ +# +# ##### +# ###**### +# ###****### +# ###**### +# #### +# ## +# ## +# ## +# #############################################, +# ################################################# +# ################################################## +# ################################################## +# ################################################## +# ****###########......################.......##########**** +# *****##########..00000..############..000000..#########***** +# *****#########.00001100..##########.001010000..########***** +# *****#########.00001100..####x#####.001101000..########***** +# *****##########..00100..####/.\#####..011000..#########***** +# *****###########xx..xx#####/...\#####xx...xx###########***** +# *****#####################/.....\######################***** +# *****####################x-------x#####################***** +# *****##################################################***** +# *****#############001000010000100010000100#############***** +# *****############00010000100001000100001000############***** +# ****############00010000100001000100001000############**** +# #############001000010000100010000100############# +# ################################################## +# ################################################ +# ############################################## +# +# + +User-agent: GPTBot +Disallow: / + User-agent: * Allow: /articles/ -Allow: /en/articles/ Allow: /$ +Allow: /fr/$ +Allow: /en/ |