# Damit schließe ich das Unterverzeichnis (zb " privat ") samt dessen Unterverzeichnisse aus
# Wildcards ? oder * sind nicht zulässig
# Der Befehl " Disallow: / " (ohne Nennung eines Verzeichnisses) schließt die ganze Site aus
# !! Achtung !!  Verzeichnisse, deren Namen nicht bekannt sein sollen (wie z.B. Verzeichnis mit Büchertexten) hier nicht eintragen
# da die Robots.txt von jedermann eingesehen werden kann!

User-agent: *
Disallow: /bellmangesellschaft/download-benutzer/0_log/
Disallow: /alt/
Disallow: /bilder/
Disallow: /cgi-bin/
Disallow: /css/
Disallow: /fonts/
Disallow: /_privat/
Disallow: /privat/
Disallow: /privatim/
Disallow: /privates/
Disallow: /privatissimum/
Disallow: /privatissime/
Disallow: /php/
Disallow: /temp/
Disallow: /test/
Disallow: /webtest/
Disallow: /stile/
Disallow: /bellman/fe0.htm
Disallow: /bellman/textseiten/
Disallow: /se/bellman/textseiten/
Disallow: /bellmangesellschaft/key/
Disallow: /bellmangesellschaft/bg/testen/
Disallow: /bellmangesellschaft/intern/
Disallow: /bellmangesellschaft/bg/0_log/
Disallow: /bellmangesellschaft/bg/gb-letztereintrag.txt
Disallow: /bellmangesellschaft/bg/gb-abgelehnt.txt
Disallow: /bellmangesellschaft/bg/gb-bisher.txt
Disallow: /bellmangesellschaft/bg/gb-kopf.txt


Disallow: /bellmangesellschaft/bg/gb-formular.htm
Disallow: /bellmangesellschaft/frage-antwort/fa-neu.txt
Disallow: /bellmangesellschaft/frage-antwort/fa-letztereintrag.txt
Disallow: /bellmangesellschaft/frage-antwort/fa-bisher.txt
Disallow: /bellmangesellschaft/frage-antwort/fa-antwort.html
Disallow: /bellmangesellschaft/frage-antwort/fa-frage.html
Disallow: /bellmangesellschaft/frage-antwort/fa-kopf.txt
Disallow: /bellmangesellschaft/frage-antwort/fa-frage.html
Disallow: /bellmangesellschaft/frage-antwort/fa-antwort.html
Disallow: /bellmangesellschaft/pinwand/pinwand_backup.htm
Disallow: /bellmangesellschaft/pinwand/pinwand_fuss.txt
Disallow: /bellmangesellschaft/pinwand/pinwand_kopf.txt
Disallow: /bellmangesellschaft/pinwand/pinwand_statistik.txt
Disallow: /bellmangesellschaft/download/

#########################################################################
##
## Praktische Hinweise Von der Site http://www.mb-media.at/bots-spider-per-htaccess-aussperren.php
##
## Es gibt eine Menge Crawler die keinen Nutzen haben, sondern nur Unmengen an Traffic für Ihr Projekt verursachen, daher haben wir Ihnen hier eine Liste der wichtigsten Crawler, die Sie unbedingt aussperren sollten, zusammengestellt. Diese können Sie entweder direkt übernehmen, oder durch Ihre eigenen bereits bekannten Crawler ersetzten: robots.txt Downloaden Spider aussperren
##
## Weitere nützliche Tipps zur Verminderung von Spam:
##
## Schreiben Sie Ihre E-Mailadresse niemals "direkt" ins Internet. Eine Möglichkeit wäre z.B. die Adresse durch eine Grafik zu ersetzen, was natürlich den Nachteil hätte, nicht mehr vom Besucher angeklickt werden zu können. Daher empfiehlt es sich, die E-Mailadresse z.B. durch JavaScript zu verschlüsseln, somit kann Sie trotzdem ganz normal angeklickt werden und ist für Spambots aber aus dem Quelltext nicht mehr auslesbar.
##
## Überlegen Sie sich sehr gut, wo Sie Ihre Mailadresse angeben/eintragen, und wo besser nicht! Melden Sie sich keinesfalls für unseriöse Newsletter an. Klicken Sie bei Spam-Mails die in Ihrem Posteingang landen niemals auf die "Abmelde-Funktion", denn Sie werden dadurch nicht abgemeldet, im Gegenteil, dadurch würden Sie nur bestätigen, dass Sie die Mail empfangen haben und können in Zukunft mit noch mehr unerwünschtem "Werbemüll" rechnen!
##
## Seien Sie vorsichtig bei der Anmeldung in Foren, öffentlichen Portalen etc., lesen Sie unbedingt immer genau was in den AGB und Nutzungsbedingungen steht. Für solche Fälle empfiehlt es sich, eine kostenlose Mailadresse von Freeanbietern anzumelden.
##
## Natürlich gäbe es noch eine ganze Reihe weiterer Vorsichtsmaßnahmen, wir möchten uns in diesem Tutorial jedoch auf das wesentliche begrenzen. Bedenken Sie: Wurde Ihre Mail-Adresse einmal von einem Spam-Bot erfasst, gibt es meist kein Zurück mehr. Der einzige Ausweg ist dann eine neue E-Mailadresse.
##
## Man kann Spam leider nicht verhindern - aber deutlich verringern!


# Adressensammler aussperren

User-agent: CherryPicker
Disallow: /

User-agent: EmailCollector
Disallow: /

User-agent: EmailSiphon
Disallow: /

User-agent: WebBandit
Disallow: /

User-agent: EmailWolf
Disallow: /

User-agent: ExtractorPro
Disallow: /

User-agent: CopyRightCheck
Disallow: /

User-agent: Crescent
Disallow: /

User-agent: SiteSnagger
Disallow: /

User-agent: ProWebWalker
Disallow: /

User-agent: CheeseBot
Disallow: /

User-agent: LNSpiderguy
Disallow: /

User-agent: ia_archiver
Disallow: /

User-agent: ia_archiver/1.6
Disallow: /

User-agent: Teleport
Disallow: /

User-agent: TeleportPro
Disallow: /

User-agent: MIIxpc
Disallow: /

User-agent: Telesoft
Disallow: /

User-agent: Website Quester
Disallow: /

User-agent: moget/2.1
Disallow: /

User-agent: WebZip/4.0
Disallow: /

User-agent: WebStripper
Disallow: /

User-agent: WebSauger
Disallow: /

User-agent: WebCopier
Disallow: /

User-agent: NetAnts
Disallow: /

User-agent: Mister PiX
Disallow: /

User-agent: WebAuto
Disallow: /

User-agent: TheNomad
Disallow: /

User-agent: grub-client
Disallow: /

User-agent: grub
Disallow: /

User-agent: looksmart
Disallow: /

User-agent: WebZip
Disallow: /

User-agent: larbin
Disallow: /

User-agent: b2w/0.1
Disallow: /

User-agent: psbot
Disallow: /

User-agent: Python-urllib
Disallow: /

User-agent: NetMechanic
Disallow: /

User-agent: URL_Spider_Pro
Disallow: /

User-agent: WWW-Collector-E
Disallow: /

User-agent: RMA
Disallow: /

User-agent: libWeb/clsHTTP
Disallow: /

User-agent: asterias
Disallow: /

User-agent: httplib
Disallow: /

User-agent: turingos
Disallow: /

User-agent: spanner
Disallow: /

User-agent: InfoNaviRobot
Disallow: /

User-agent: Harvest/1.5
Disallow: /

User-agent: Bullseye/1.0
Disallow: /

User-agent: Mozilla/4.0 (compatible; BullsEye; Windows 95)
Disallow: /

User-agent: Crescent Internet ToolPak HTTP OLE Control v.1.0
Disallow: /

User-agent: CherryPickerSE/1.0
Disallow: /

User-agent: CherryPickerElite/1.0
Disallow: /

User-agent: WebBandit/3.50
Disallow: /

User-agent: NICErsPRO
Disallow: /

User-agent: Microsoft URL Control - 5.01.4511
Disallow: /

User-agent: DittoSpyder
Disallow: /

User-agent: Foobot
Disallow: /

User-agent: WebmasterWorldForumBot
Disallow: /

User-agent: SpankBot
Disallow: /

User-agent: BotALot
Disallow: /

User-agent: lwp-trivial/1.34
Disallow: /

User-agent: lwp-trivial
Disallow: /

User-agent: BunnySlippers
Disallow: /

User-agent: Microsoft URL Control - 6.00.8169
Disallow: /

User-agent: URLy Warning
Disallow: /

User-agent: Wget/1.6
Disallow: /

User-agent: Wget/1.5.3
Disallow: /

User-agent: Wget
Disallow: /

User-agent: LinkWalker
Disallow: /

User-agent: cosmos
Disallow: /

User-agent: moget
Disallow: /

User-agent: hloader
Disallow: /

User-agent: humanlinks
Disallow: /

User-agent: LinkextractorPro
Disallow: /

User-agent: Offline Explorer
Disallow: /

User-agent: Mata Hari
Disallow: /

User-agent: LexiBot
Disallow: /

User-agent: Web Image Collector
Disallow: /

User-agent: The Intraformant
Disallow: /

User-agent: True_Robot/1.0
Disallow: /

User-agent: True_Robot
Disallow: /

User-agent: BlowFish/1.0
Disallow: /

User-agent: JennyBot
Disallow: /

User-agent: MIIxpc/4.2
Disallow: /

User-agent: BuiltBotTough
Disallow: /

User-agent: ProPowerBot/2.14
Disallow: /

User-agent: BackDoorBot/1.0
Disallow: /

User-agent: toCrawl/UrlDispatcher
Disallow: /

User-agent: WebEnhancer
Disallow: /

User-agent: suzuran
Disallow: /

User-agent: VCI WebViewer VCI WebViewer Win32
Disallow: /

User-agent: VCI
Disallow: /

User-agent: Szukacz/1.4 
Disallow: /

User-agent: QueryN Metasearch
Disallow: /

User-agent: Openfind data gathere
Disallow: /

User-agent: Openfind
Disallow: /

User-agent: Xenu's Link Sleuth 1.1c
Disallow: /

User-agent: Xenu's
Disallow: /

User-agent: Zeus
Disallow: /

User-agent: RepoMonkey Bait & Tackle/v1.01
Disallow: /

User-agent: RepoMonkey
Disallow: /

User-agent: Microsoft URL Control
Disallow: /

User-agent: Openbot
Disallow: /

User-agent: URL Control
Disallow: /

User-agent: Zeus Link Scout
Disallow: /

User-agent: Zeus 32297 Webster Pro V2.9 Win32
Disallow: /

User-agent: Webster Pro
Disallow: /

User-agent: EroCrawler
Disallow: /

User-agent: LinkScan/8.1a Unix
Disallow: /

User-agent: Keyword Density/0.9
Disallow: /

User-agent: Kenjin Spider
Disallow: /

User-agent: Iron33/1.0.2
Disallow: /

User-agent: Bookmark search tool
Disallow: /

User-agent: GetRight/4.2
Disallow: /

User-agent: FairAd Client
Disallow: /

User-agent: Gaisbot
Disallow: /

User-agent: Aqua_Products
Disallow: /

User-agent: Radiation Retriever 1.1
Disallow: /

User-agent: Flaming AttackBot
Disallow: /

User-agent: Oracle Ultra Search
Disallow: /

User-agent: MSIECrawler
Disallow: /

User-agent: PerMan
Disallow: /

User-agent: searchpreview
Disallow: /