diff options
Diffstat (limited to 'robots.txt')
| -rw-r--r-- | robots.txt | 42 |
1 files changed, 39 insertions, 3 deletions
@@ -1,5 +1,41 @@ -User-agent: * +# +# ##### +# ###**### +# ###****### +# ###**### +# #### +# ## +# ## +# ## +# #############################################, +# ################################################# +# ################################################## +# ################################################## +# ################################################## +# ****###########......################.......##########**** +# *****##########..00000..############..000000..#########***** +# *****#########.00001100..##########.001010000..########***** +# *****#########.00001100..####x#####.001101000..########***** +# *****##########..00100..####/.\#####..011000..#########***** +# *****###########xx..xx#####/...\#####xx...xx###########***** +# *****#####################/.....\######################***** +# *****####################x-------x#####################***** +# *****##################################################***** +# *****#############001000010000100010000100#############***** +# *****############00010000100001000100001000############***** +# ****############00010000100001000100001000############**** +# #############001000010000100010000100############# +# ################################################## +# ################################################ +# ############################################## +# +# + +User-agent: GPTBot Disallow: / + +User-agent: * +Allow: /articles/ Allow: /$ -Allow: /contact/$ -Allow: /articles/*$ +Allow: /fr/$ +Allow: /en/ |