^

SyntaxError: invalid syntax

>>> courses_name = [course.split('\t')[0] for course in

courses]

>>> print courses_name[0:10]

['Writing II: Rhetorical Composing', 'Genetics and Society: A

Course for Educators', 'General Game Playing', 'Genes and the Human

Condition (From Behavior to Biotechnology)', 'A Brief History of

Humankind', 'New Models of Business in Society', 'Analyse

Num\xc3\xa9rique pour Ing\xc3\xa9nieurs', 'Evolution: A Course for

Educators', 'Coding the Matrix: Linear Algebra through Computer

Science Applications', 'The Dynamic Earth: A Course for

Educators']

>>> from nltk.corpus import brown

>>> brown.words()[0:10]

[u'The', u'Fulton', u'County', u'Grand', u'Jury', u'said',

u'Friday', u'an', u'investigation', u'of']

>>> brown.tagged_words()[0:10]

[(u'The', u'AT'), (u'Fulton', u'NP-TL'), (u'County', u'NN-TL'),

(u'Grand', u'JJ-TL'), (u'Jury', u'NN-TL'), (u'said', u'VBD'),

(u'Friday', u'NR'), (u'an', u'AT'), (u'investigation', u'NN'),

(u'of', u'IN')]

>>> texts_lower = [[word for word in

document.lower().split()] for document in courses]

>>> print texts_lower[0]

['writing', 'ii:', 'rhetorical', 'composing', 'rhetorical',

'composing', 'engages', 'you', 'in', 'a', 'series', 'of',

'interactive', 'reading,', 'research,', 'and', 'composing',

'activities', 'along', 'with', 'assignments', 'designed', 'to',

'help', 'you', 'become', 'more', 'effective', 'consumers', 'and',

'producers', 'of', 'alphabetic,', 'visual', 'and', 'multimodal',

'texts.', 'join', 'us', 'to', 'become', 'more', 'effective',

'writers...', 'and', 'better', 'citizens.', 'rhetorical',

'composing', 'is', 'a', 'course', 'where', 'writers', 'exchange',

'words,', 'ideas,', 'talents,', 'and', 'support.', 'you', 'will',

'be', 'introduced', 'to', 'a', 'variety', 'of', 'rhetorical',

'concepts\xe2\x80\x94that', 'is,', 'ideas', 'and', 'techniques',

'to', 'inform', 'and', 'persuade', 'audiences\xe2\x80\x94that',

'will', 'help', 'you', 'become', 'a', 'more', 'effective',

'consumer', 'and', 'producer', 'of', 'written,', 'visual,', 'and',

'multimodal', 'texts.', 'the', 'class', 'includes', 'short',

'videos,', 'demonstrations,', 'and', 'activities.', 'we',

'envision', 'rhetorical', 'composing', 'as', 'a', 'learning',

'community', 'that', 'includes', 'both', 'those', 'enrolled', 'in',

'this', 'course', 'and', 'the', 'instructors.', 'we', 'bring',

'our', 'expertise', 'in', 'writing,', 'rhetoric', 'and', 'course',

'design,', 'and', 'we', 'have', 'designed', 'the', 'assignments',

'and', 'course', 'infrastructure', 'to', 'help', 'you', 'share',

'your', 'experiences', 'as', 'writers,', 'students,', 'and',

'professionals', 'with', 'each', 'other', 'and', 'with', 'us.',

'these', 'collaborations', 'are', 'facilitated', 'through', 'wex,',

'the', 'writers', 'exchange,', 'a', 'place', 'where', 'you',

'will', 'exchange', 'your', 'work', 'and', 'feedback']

>>> from nltk.tokenize import word_tokenize

>>> texts_tokenized = [[word.lower() for word in

word_tokenize(document.decode('utf-8'))] for document in

courses]

>>> print texts_tokenized[0]

[u'writing', u'ii', u':', u'rhetorical', u'composing',

u'rhetorical', u'composing', u'engages', u'you', u'in', u'a',

u'series', u'of', u'interactive', u'reading', u',', u'research',

u',', u'and', u'composing', u'activities', u'along', u'with',

u'assignments', u'designed', u'to', u'help', u'you', u'become',

u'more', u'effective', u'consumers', u'and', u'producers', u'of',

u'alphabetic', u',', u'visual', u'and', u'multimodal', u'texts',

u'.', u'join', u'us', u'to', u'become', u'more', u'effective',

u'writers', u'...', u'and', u'better', u'citizens', u'.',

u'rhetorical', u'composing', u'is', u'a', u'course', u'where',

u'writers', u'exchange', u'words', u',', u'ideas', u',',

u'talents', u',', u'and', u'support', u'.', u'you', u'will', u'be',

u'introduced', u'to', u'a', u'variety', u'of', u'rhetorical',

u'concepts\u2014that', u'is', u',', u'ideas', u'and',

u'techniques', u'to', u'inform', u'and', u'persuade',

u'audiences\u2014that', u'will', u'help', u'you', u'become', u'a',

u'more', u'effective', u'consumer', u'and', u'producer', u'of',

u'written', u',', u'visual', u',', u'and', u'multimodal', u'texts',

u'.', u'the', u'class', u'includes', u'short', u'videos', u',',

u'demonstrations', u',', u'and', u'activities', u'.', u'we',

u'envision', u'rhetorical', u'composing', u'as', u'a', u'learning',

u'community', u'that', u'includes', u'both', u'those', u'enrolled',

u'in', u'this', u'course', u'and', u'the', u'instructors', u'.',

u'we', u'bring', u'our', u'expertise', u'in', u'writing', u',',

u'rhetoric', u'and', u'course', u'design', u',', u'and', u'we',

u'have', u'designed', u'the', u'assignments', u'and', u'course',

u'infrastructure', u'to', u'help', u'you', u'share', u'your',

u'experiences', u'as', u'writers', u',', u'students', u',', u'and',

u'professionals', u'with', u'each', u'other', u'and', u'with',

u'us', u'.', u'these', u'collaborations', u'are', u'facilitated',

u'through', u'wex', u',', u'the', u'writers', u'exchange', u',',

u'a', u'place', u'where', u'you', u'will', u'exchange', u'your',

u'work', u'and', u'feedback']

>>> from nltk.corpus import stopwords

>>> english_stopwords = stopwords.words('english')

>>> print english_stopwords

[u'i', u'me', u'my', u'myself', u'we', u'our', u'ours',

u'ourselves', u'you', u'your', u'yours', u'yourself',

u'yourselves', u'he', u'him', u'his', u'himself', u'she', u'her',

u'hers', u'herself', u'it', u'its', u'itself', u'they', u'them',

u'their', u'theirs', u'themselves', u'what', u'which', u'who',

u'whom', u'this', u'that', u'these', u'those', u'am', u'is',

u'are', u'was', u'were', u'be', u'been', u'being', u'have', u'has',

u'had', u'having', u'do', u'does', u'did', u'doing', u'a', u'an',

u'the', u'and', u'but', u'if', u'or', u'because', u'as', u'until',

u'while', u'of', u'at', u'by', u'for', u'with', u'about',

u'against', u'between', u'into', u'through', u'during', u'before',

u'after', u'above', u'below', u'to', u'from', u'up', u'down',

u'in', u'out', u'on', u'off', u'over', u'under', u'again',

u'further', u'then', u'once', u'here', u'there', u'when', u'where',

u'why', u'how', u'all', u'any', u'both', u'each', u'few', u'more',

u'most', u'other', u'some', u'such', u'no', u'nor', u'not',

u'only', u'own', u'same', u'so', u'than', u'too', u'very', u's',

u't', u'can', u'will', u'just', u'don', u'should', u'now']

>>> texts_filtered_stopwords = [[word for word in document

if not word in english_stopwords] for document in

texts_tokenized]

>>> print texts_filtered_stopwords[0]

[u'writing', u'ii', u':', u'rhetorical', u'composing',

u'rhetorical', u'composing', u'engages', u'series', u'interactive',

u'reading', u',', u'research', u',', u'composing', u'activities',

u'along', u'assignments', u'designed', u'help', u'become',

u'effective', u'consumers', u'producers', u'alphabetic', u',',

u'visual', u'multimodal', u'texts', u'.', u'join', u'us',

u'become', u'effective', u'writers', u'...', u'better',

u'citizens', u'.', u'rhetorical', u'composing', u'course',

u'writers', u'exchange', u'words', u',', u'ideas', u',',

u'talents', u',', u'support', u'.', u'introduced', u'variety',

u'rhetorical', u'concepts\u2014that', u',', u'ideas',

u'techniques', u'inform', u'persuade', u'audiences\u2014that',

u'help', u'become', u'effective', u'consumer', u'producer',

u'written', u',', u'visual', u',', u'multimodal', u'texts', u'.',

u'class', u'includes', u'short', u'videos', u',',

u'demonstrations', u',', u'activities', u'.', u'envision',

u'rhetorical', u'composing', u'learning', u'community',

u'includes', u'enrolled', u'course', u'instructors', u'.',

u'bring', u'expertise', u'writing', u',', u'rhetoric', u'course',

u'design', u',', u'designed', u'assignments', u'course',

u'infrastructure', u'help', u'share', u'experiences', u'writers',

u',', u'students', u',', u'professionals', u'us', u'.',

u'collaborations', u'facilitated', u'wex', u',', u'writers',

u'exchange', u',', u'place', u'exchange', u'work',

u'feedback']

>>> english_punctuations = [',', '.', ':', ';', '?', '(',

')', '[', ']', '&', '!',

'*','@','#','$','%']>>> texts_filtered =

[[word for word in document if not word in english_punctuations]

for document in texts_filtered_stopwords]

File "", line 1