Γλωσσική Τεχνολογία HTML/XML Processing – HTTP Services

Περιεχόμενα  HTML processing  XML processing  HTTP services  URL parsing  URL opening  Content fetching  Project

HTML Processing  3 built-in modules:  HTMLParser – Simple HTML parser  sgmllib – Simple SGML parser  htmllib – A parser for HTML documents  Άλλες βιβλιοθήκες :  BeautifulSoup

HTMLParser  HTMLParser methods:  HTMLParser.reset()  HTMLParser.feed(data)  HTMLParser.close()  HTMLParser.handle_starttag(tag, attrs)  HTMLParser.handle_endtag(tag)  HTMLParser.handle_data(data)  HTMLParser.handle_comment(data)

HTMLParser - Παράδειγμα

sgmllib  Αποτελεί την βάση για επεξεργασία οποιουδήποτε κειμένου σε SGML (Standard Generalized Mark-up Language) μορφή.  Στην πραγματικότητα υλοποιήθηκε ως βάση για την επεξεργασία HTML και του module htmllib.  Παρόμοιο σύνολο συναρτήσεων με αυτό του HTMLParser.  Ευρεία χρήση αντί του HTMLParser.

BaseHTMLProcessor 1/2

BaseHTMLProcessor 2/2

SubHTMLProcessor

XML related standards  SAX (Simple API for XML)  event-driven interface  απλό  γρήγορο  διάτρεξη XML εγγράφου  DOM (Document Object Model)  tree-based representation  αργό  μνημοβόρο  αλλαγή δομής XML εγγράφου

XML modules  xml.parsers.expat - Fast XML parsing using Expat  xml.dom - The Document Object Model API  xml.dom.minidom - Lightweight DOM implementation  xml.dom.pulldom - Support for building partial DOM trees  xml.sax - Support for SAX2 parsers  xml.sax.handler - Base classes for SAX handlers  xml.sax.saxutils - SAX Utilities  xml.sax.xmlreader - Interface for XML parsers  xml.etree.ElementTree - The ElementTree XML API

Other Libraries  BeautifulSoup  lxml  PyXML  libxml2  and more…

The ElementTree XML API  Element:  Αντικείμενο για την ιεραρχική αποθήκευση δεδομένων στην μνήμη. Κάθε element σχετίζεται με :  ένα tag (string), ονομάζεται element type και προσδιορίζει τον « τύπο » δεδομένων ( στο XML) που διατηρεί το element  ένα πλήθος attributes, αποθηκευμένα σε dictionary  ένα string ( το κείμενο μεταξύ των tags)  ένα προεραιτικό tail string και  ένα πλήθος από child elements, αποθηκευμένα σε sequence.

ElementTree methods  xml.etree.ElementTree.fromstring(text):  Διαβάζει XML κείμενο από string (text).  xml.etree.ElementTree.parse(source, parser=None):  Διαβάζει XML κείμενο από αρχείο (source).  xml.etree.ElementTree.iselement(element):  Boolean συνάρτηση για τον έλεγχο επικύρωσης ενός element object.  xml.etree.ElementTree.SubElement(parent, tag, attrib={}, **extra):  Δημιουργεί ένα αντικείμενο element και το προσθέτει στο υπάρχον element.

ElementTree Objects  tag:  ένα string που προσδιορίζει τον τύπο δεδομένων (element type)  text:  ένα string που διατηρεί το κείμενο μεταξύ start και close tags  tail:  ένα string που διατηρεί οποιοδήποτε κείμενο που ( αν ) βρίσκεται μεταξύ του close tag και του επόμενου tag  attrib:  ένα dictionary που διατηρεί τα attributes του element.  ΠΡΟΣΟΧΗ !! Μην χρησιμοποιείτε τις κλασσικές μεθόδους για dictionaries αλλά αυτές στην επόμενη διαφάνεια !!

dictionary-like methods  clear():  « καθαρίζει » (reset) όλα τα objects ενός element  get(key, default=None):  επιστρέφει την τιμή του attribute με όνομα key  items():  επιστρέφει τα attributes ενός element σε μια ακολουθία από ζεύγη (name, value) σε τυχαία σειρά  keys():  επιστρέφει με τυχαία σειρά τα ονόματα των attributes ενός element μέσα σε μία λίστα  set(key, value):  θέτει το attribute με όνομα key ενός element στην τιμή value

methods on subelements  append(subelement):  προσθέτει ένα subelement στην λίστα του element στο οποίο ανήκει  find(match):  επιστρέφει το πρώτο subelement που ταιριάζει με το match. Το match μπορεί να είναι tag name ή path.  findall(match):  επιστρέφει όλα τα matching subelements σε μία λίστα με την σειρά που εμφανίζονται  insert(index, element):  εισάγει ένα subelement στο element στη θέση index  remove(subelement):  απομακρύνει το subelement

ElementTree Objects  getroot():  επιστρέφει το root element του δέντρου  find(match):  ίδια με την getroot().find(match)  findall(match):  ίδια με την getroot().findall(match)  parse(source, parser=None):  φορτώνει ένα XML από το αρχείο source στην μνήμη σε μορφή element tree. Ως parser μπορείτε να αφήσετε τον default XMLParser.  write(file, encoding="us-ascii", xml_declaration=None, method="xml"):  γράφει το element tree στο αρχείο file. Το default encoding είναι US- ASCII. Το xml_declaration ελέγχει την ύπαρξη δήλωσης του XML εγγράφου. Το None χρησιμοποιείται by default όταν το encoding δεν είναι US-ASCII. Το method είναι by default "xml“, δεν το αλλάζετε.

ElementTree - Παράδειγμα

HTTP Web Services  4 built-in modules:  urlparse - parse URLs into components  httplib - HTTP protocol client  urllib - open arbitrary resources by URL  urllib2 - extensible library for opening URLs

urlparse 1/2  urlparse.urlparse(urlstring[, scheme[, allow_fragments]]):  διάτρεξη του URL και « σπάσιμο » σε 6 κομμάτια. Το URL θεωρείται ότι είναι της μορφής : scheme://netloc/path;parameters?query#fragment  Μεγάλη ΠΡΟΣΟΧΗ στην χρήση της !! Μπορεί να έχετε απροσδόκητα αποτελέματα !!

urlparse 2/2  urlparse.urlsplit(urlstring[, scheme[, allow_fragments]]):  παρόμοια με την urlparse() και χρησιμοποιείτε αυτήν αντί της urlparse(). Επιστρέφει μια 5-tuple: (addressing scheme, network location, path, query, fragment identifier). Δεν « σπάει » δηλαδή τις παραμέτρους για τις οποίες χρειάζεται μια επιπλέον συνάρτηση.  ParseResult.geturl ():  επιστρέφει το αρχικό URL. Μεγάλη ΠΡΟΣΟΧΗ στην χρήση της !! Το αποτέλεσμα που επιστρέφεται μπορεί να είναι διαφορετικό από το αρχικό URL.

urllib  urllib.urlopen(url[, data[, proxies]]):  ο απλός αλλά ΌΧΙ προτεινόμενος τρόπος να κατεβάσετε περιεχόμενο από ένα URL

urllib2  Διαδικασία 3 βημάτων :  Το πρώτο βήμα είναι να δημιουργήσετε μια αίτηση (Request object) του τι θέλετε να κατεβάσετε.  Το δεύτερο βήμα είναι να δημιουργήσετε έναν URL opener. Το πλεονέκτημα που αποκτάτε είναι ότι μπορείτε να ορίσετε τους δικούς σας handlers για το πως θα διαχειρίζεται κάθε ειδική περίπτωση, πχ : redirects.  Το τελευταίο βήμα είναι να εκτελέσετε τον opener έτσι ώστε να κατεβάσετε την πληροφορία που θέλετε.

Redirect Handlers  class urllib2.HTTPRedirectHandler:  Ο default redirect handler για redirects. Μπορείτε να γράψετε τους δικούς σας για να διαχειριστείτε οποιοδήποτε redirect της σειράς 3xx (redirection).

Error handlers  class urllib2.HTTPDefaultErrorHandler:  Ο default error handler για HTTP error responses. Μπορείτε να γράψετε τους δικούς σας για να διαχειριστείτε οποιοδήποτε bad request της σειράς 4xx (client error) ή 5xx (server error).

Σύνοψη  Παρατηρείστε την διαχείριση των σελίδων σαν αρχεία ( συναρτήσεις open(), read(), close()).  Παρατηρείστε επίσης την χρήση handlers για τον χειρισμό ειδικών περιπτώσεων.  Παρατηρείστε τέλος την χρήση timeout κατά την αίτηση ανοίγματος της σελίδας.