Mit Perl gehts!
Ulrichc verwendet das auch für seinen kleinen webbot:
http://www.ulrichc.de/project/cu-webbot/index_de.html

Wenn ichs richtig verstanden habe, ght das auch in PHP.