################################################################################
# For more examples see http://www.robotstxt.org/wc/exclusion-admin.html
# Default settings below allow all agents access to all objects in the webserver
################################################################################
User-agent: *
Disallow:

################################################################################
#               LATEST CHANGES TO THE ROBOTS.TXT STANDARD INCLUDE              #
################################################################################

################################################################################
# Crawl-delay:
################################################################################
# Crawl-delay: 60 would tell any robots named in the preceeding User-agent:
# section that they must wait 60 seconds between requests
################################################################################

################################################################################
# Sitemap: http://www.lesleefarrell.com/sitemap.xml
################################################################################
# Specifying the Sitemap location in your robots.txt file
# You can specify the location of the Sitemap using a robots.txt file. To do 
# this, simply add the following line:
# Sitemap: <sitemap_location>
# The <sitemap_location> should be the complete URL to the Sitemap, such as: 
# http://www.example.com/sitemap.xml
# This directive is independent of the user-agent line, so it doesn't matter 
# where you place it in your file. If you have a Sitemap index file, you can 
# include the location of just that file. You don't need to list each individual 
# Sitemap listed in the index file. 
################################################################################



################################################################################
# Disallow: /cgi-bin/
# Disallow: /images/
# Disallow: basket.aspx
################################################################################

################################################################################
# The Format
################################################################################
# The format and semantics of the "/robots.txt" file are as follows:
#
# The file consists of one or more records separated by one or more blank lines
# (terminated by CR,CR/NL, or NL). Each record contains lines of the form
# <field>:<optionalspace><value><optionalspace>
# The field name is case insensitive.
################################################################################


################################################################################
# Comments
################################################################################
# Comments can be included in file using UNIX bourne shell conventions: the '#'
# character is used to indicate that preceding space (if any) and the remainder
# of the line up to the line termination is discarded. Lines containing only a
# comment are discarded completely, and therefore do not indicate a record
# boundary.
################################################################################

################################################################################
# Records
################################################################################
# The record starts with one or more User-agent lines, followed by one or more
# Disallow lines, as detailed below. Unrecognised headers are ignored.
################################################################################


################################################################################
# User-agent
################################################################################
# The value of this field is the name of the robot the record is describing
# access policy for.
# If more than one User-agent field is present the record describes an identical
# access policy for more than one robot. At least one field needs to be present
# per record.
# The robot should be liberal in interpreting this field. A case insensitive
# substring match of the name without version information is recommended.
# If the value is '*', the record describes the default access policy for any
# robot that has not matched any of the other records. It is not allowed to
# have multiple such records in the "/robots.txt" file.
################################################################################


################################################################################
# Disallow
################################################################################
# The value of this field specifies a partial URL that is not to be visited.
# This can be a full path, or a partial path; any URL that starts with this
# value will not be retrieved. For example, 
#  Disallow: /help disallows both /help.html and /help/index.html
#  Disallow: /help/ would disallow /help/index.html but allow /help.html.
# Any empty value, indicates that all URLs can be retrieved.
# At least one Disallow field needs to be present in a record.
################################################################################

################################################################################
# The presence of an empty "/robots.txt" file has no explicit associated
# semantics, it will be treated as if it was not present, i.e. all robots will
# consider themselves welcome.
################################################################################