title: python 3.2 UnicodeEncodeError: 'charmap' codec can't encode character '\u2013' in position 9629: character maps to <undefined>
body: <p>I'm trying to make a script that gets data out from an sqlite3 database, but I have run in to a problem.</p>
  
  <p>The field in the database is of type text and the contains a html formated text. see the text below</p>
  
  <pre><code>&lt;html&gt;
  &lt;head&gt;
  &lt;title&gt;Yahoo!&lt;/title&gt;
  &lt;/head&gt;
  &lt;body&gt;
  &lt;style type="text/css"&gt;
  html {}
  .yshortcuts {border-bottom:none !important;}
  .ReadMsgBody {width:100%;}
  .ExternalClass{width:100%;}
  &lt;/style&gt;
  &lt;table cellpadding="0" cellspacing="0" bgcolor="#ffffff"&gt;    
  &lt;tr&gt;
  &lt;td width="550" valign="top" align="left"&gt;
  
      &lt;table cellpadding="0" cellspacing="0" width="500"&gt;
          &lt;tr&gt;
              &lt;td colspan="3"&gt;&lt;img        src="http://mail.yimg.com/nq/assets/sharedmessages/v1/us/logo.gif" width="292" height="51" style="display:block;" border="0" alt="Yahoo! Mail"&gt;&lt;/td&gt;
          &lt;/tr&gt;
          &lt;tr&gt;
              &lt;td rowspan="3" width="1" bgcolor="#c7c4ca"&gt;&lt;/td&gt;
              &lt;td width="498" height="1" bgcolor="#c7c4ca"&gt;&lt;/td&gt;
              &lt;td rowspan="3" width="1" bgcolor="#c7c4ca"&gt;&lt;/td&gt;
          &lt;/tr&gt;
          &lt;tr&gt;
              &lt;td width="498" valign="top" align="left"&gt;
              &lt;table cellpadding="0" cellspacing="0"&gt;
                  &lt;tr&gt;
                      &lt;td width="498" bgcolor="#61399d" align="left" valign="top"&gt;
                      &lt;table cellspacing="0" cellpadding="0"&gt;&lt;tr&gt;&lt;td height="24"&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/table&gt;
                      &lt;div style="font-family:Arial, Helvetica, sans-serif;font-size:23px;line-height:27px;margin-bottom:10px;color:#ffffff;margin-left:15px;"&gt;&lt;span style="color:#ffffff;text-decoration:none;font-weight:bold;line-height:27px;"&gt;Välkommen till Yahoo! Mail.&lt;/span&gt;&lt;/div&gt;
                      &lt;div style="font-family:Arial, Helvetica, sans-serif;font-size:22px;line-height:26px;margin-bottom:1px;color:#ffffff;margin-left:15px;margin-bottom:7px;margin-right:15px;"&gt;Ansluta och dela går snabbt och enkelt och är tillgängligt överallt.&lt;/div&gt;
                      &lt;/td&gt;
                  &lt;/tr&gt;
                  &lt;tr&gt;
                      &lt;td&gt;&lt;img src="http://mail.yimg.com/nq/assets/sharedmessages/v1/all/b1.gif" width="498" height="18" style="display:block;" border="0"&gt;&lt;/td&gt;
                  &lt;/tr&gt;
              &lt;/table&gt;
              &lt;table cellpadding="0" cellspacing="0" width="498"&gt;
                  &lt;tr&gt;
                      &lt;td width="292" valign="top"&gt;
                      &lt;table cellpadding="0" cellspacing="0"&gt;
                          &lt;tr&gt;
                              &lt;td&gt;&lt;img src="http://mail.yimg.com/nq/assets/sharedmessages/v1/all/grad.gif" width="292" height="9" style="display:block;"&gt;&lt;/td&gt;
                          &lt;/tr&gt;
                          &lt;tr&gt;
                              &lt;td width="292" bgcolor="#ffffff" align="left" valign="top"&gt;
                              &lt;table cellspacing="0" cellpadding="0"&gt;&lt;tr&gt;&lt;td height="11"&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/table&gt;
                              &lt;div style="margin-left:15px;"&gt;                  
                                  &lt;div style="font-family:Arial, Helvetica, sans-serif;font-size:14px;line-height:18px;color:#333333;margin-bottom:11px;font-weight:bold;"&gt;Det är lätt som en plätt att komma igång.&lt;/div&gt;
                                  &lt;table cellpadding="0" cellspacing="0" width="267"&gt;
                                      &lt;tr&gt;
                                          &lt;td width="16" align="left" valign="top"&gt;&lt;div style="font-family:Arial, Helvetica, sans-serif;font-size:14px;line-height:16px;color:#61399d;margin-bottom:9px;font-weight:bold;"&gt;1. &lt;/div&gt;&lt;/td&gt;
                                          &lt;td align="left" valign="top"&gt;&lt;div style="font-family:Arial, Helvetica, sans-serif;font-size:13px;line-height:16px;color:#61399d;margin-bottom:9px;"&gt;&lt;a rel="nofollow" target="_blank" href="http://us-mg999.mail.yahoo.com/neo/launch?action=contacts" style="text-decoration:underline;color:#61399d;"&gt;&lt;span&gt;Lägg till alla dina kontakter på en plats&lt;/span&gt;&lt;/a&gt;.&lt;/div&gt;&lt;/td&gt;
                                      &lt;/tr&gt;
                                      &lt;tr&gt;
                                          &lt;td align="left" valign="top"&gt;&lt;div style="font-family:Arial, Helvetica, sans-serif;font-size:14px;line-height:16px;color:#61399d;margin-bottom:9px;font-weight:bold;"&gt;2. &lt;/div&gt;&lt;/td&gt;
                                          &lt;td align="left" valign="top"&gt;&lt;div style="font-family:Arial, Helvetica, sans-serif;font-size:13px;line-height:16px;color:#61399d;margin-bottom:9px;"&gt;&lt;a rel="nofollow" target="_blank" href="http://mrd.mail.yahoo.com/themes" style="text-decoration:underline;color:#61399d;"&gt;&lt;span&gt;Anpassa din nya inkorg&lt;/span&gt;&lt;/a&gt;.&lt;/div&gt;&lt;/td&gt;
                                      &lt;/tr&gt;
                                      &lt;tr&gt;
                                          &lt;td align="left" valign="top"&gt;&lt;div style="font-family:Arial, Helvetica, sans-serif;font-size:14px;line-height:16px;color:#61399d;margin-bottom:9px;font-weight:bold;"&gt;3. &lt;/div&gt;&lt;/td&gt;
                                          &lt;td align="left" valign="top"&gt;&lt;div style="font-family:Arial, Helvetica, sans-serif;font-size:13px;line-height:16px;color:#61399d;"&gt;&lt;a rel="nofollow" target="_blank" href="http://se.overview.mail.yahoo.com/mobile" style="text-decoration:underline;color:#61399d;"&gt;&lt;span&gt;Anslut överallt på dina mobila enheter&lt;/span&gt;&lt;/a&gt;.&lt;/div&gt;&lt;/td&gt;
                                      &lt;/tr&gt;
                                  &lt;/table&gt;
  
                              &lt;/div&gt;
                              &lt;/td&gt;
                          &lt;/tr&gt;
                          &lt;tr&gt;&lt;td height="13"&gt;&lt;/td&gt;&lt;/tr&gt;
                      &lt;/table&gt;
                      &lt;/td&gt;
                      &lt;td width="196" valign="top"&gt;
                      &lt;table cellpadding="0" cellspacing="0"&gt;
                          &lt;tr&gt;
                              &lt;td width="1" bgcolor="#fbfbfd" valign="top"&gt;&lt;img src="http://mail.yimg.com/nq/assets/sharedmessages/v1/all/g1.gif" width="1" height="21" style="display:block;"&gt;&lt;/td&gt;
                              &lt;td width="1" bgcolor="#f5f6fa" valign="top"&gt;&lt;img src="http://mail.yimg.com/nq/assets/sharedmessages/v1/all/g2.gif" width="1" height="21" style="display:block;"&gt;&lt;/td&gt;
                              &lt;td width="1" bgcolor="#e8eaf1" valign="top"&gt;&lt;img src="http://mail.yimg.com/nq/assets/sharedmessages/v1/all/g3.gif" width="1" height="21" style="display:block;"&gt;&lt;/td&gt;
                              &lt;td width="1" bgcolor="#d4d4d4"&gt;&lt;/td&gt;
                              &lt;td width="186" bgcolor="#f0f0f0" align="left" valign="top"&gt;  
                              &lt;table cellspacing="0" cellpadding="0"&gt;&lt;tr&gt;&lt;td height="3"&gt;   &lt;/td&gt;&lt;/tr&gt;&lt;/table&gt;
                              &lt;div style="margin-left:11px;"&gt;
                              &lt;div style="font-family:Arial, Helvetica, sans-serif;font-size:13px;line-height:16px;color:#333333;margin-bottom:9px;"&gt;&lt;b&gt;Info för dig:&lt;/b&gt;&lt;/div&gt;
                              &lt;div style="font-family:Arial, Helvetica, sans-serif;font-size:12px;color:#43494e;line-height:18px;margin-bottom:10px;"&gt;
                              Yahoo!-ID och e-postadress:&lt;br /&gt;
                              &lt;div style="font-family:Arial, Helvetica, sans-serif;font-size:12px;color:#43494e;line-height:18px;"&gt;
                              Håll ditt konto och inställningar aktuella. &lt;br&gt;&lt;a rel="nofollow" target="_blank" href="https://edit.yahoo.com/config/eval_profile" style="text-decoration:underline;color:#61399d;"&gt;&lt;span&gt;Mitt konto&lt;/span&gt;&lt;/a&gt; 
                              &lt;/div&gt;
                              &lt;/div&gt;
                              &lt;table cellspacing="0" cellpadding="0"&gt;&lt;tr&gt;&lt;td height="20"&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/table&gt;
                              &lt;/td&gt;
                              &lt;td width="1" bgcolor="#dbdbdb"&gt;&lt;/td&gt;
                              &lt;td width="1" bgcolor="#ced2de"&gt;&lt;/td&gt;
                              &lt;td width="1" bgcolor="#dbdfed"&gt;&lt;/td&gt;
                              &lt;td width="1" bgcolor="#e8ebf3"&gt;&lt;/td&gt;
                              &lt;td width="1" bgcolor="#f3f4f9"&gt;&lt;/td&gt;
                              &lt;td width="1" bgcolor="#fafbfc"&gt;&lt;/td&gt;
                          &lt;/tr&gt;
                          &lt;tr&gt;
                              &lt;td colspan="11"&gt;&lt;img src="http://mail.yimg.com/nq/assets/sharedmessages/v1/all/b2.gif" width="196" height="8" style="display:block;" border="0"&gt;&lt;/td&gt;
                          &lt;/tr&gt;
                          &lt;tr&gt;&lt;td height="13"&gt;&lt;/td&gt;&lt;/tr&gt;
                      &lt;/table&gt;
                      &lt;/td&gt;
                      &lt;td width="10"&gt;&lt;/td&gt;
                  &lt;/tr&gt;
              &lt;/table&gt;
              &lt;/td&gt;
          &lt;/tr&gt;
          &lt;tr&gt;
              &lt;td width="498" height="1" bgcolor="#c7c4ca"&gt;&lt;/td&gt;
          &lt;/tr&gt;
      &lt;/table&gt;
      &lt;table cellpadding="0" cellspacing="0" width="500"&gt;
          &lt;tr&gt;
              &lt;td align="center" valign="top"&gt;
              &lt;table cellspacing="0" cellpadding="0"&gt;&lt;tr&gt;&lt;td height="10"&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/table&gt;
                  &lt;div style="font-family:Arial, Helvetica, sans-serif;font-size:11px;line-height:18px;margin-bottom:10px;"&gt;
                  &lt;a rel="nofollow" target="_blank" href="http://info.yahoo.com/legal/se/yahoo/utos.html" style="text-decoration:underline;color:#61399d;"&gt;Yahoo! Villkor för användning&lt;/a&gt;&amp;nbsp;&amp;nbsp;&amp;nbsp;|&amp;nbsp;&amp;nbsp;&amp;nbsp;&lt;a rel="nofollow" target="_blank" href="http://info.yahoo.com/legal/se/yahoo/mail/atos.html" style="text-decoration:underline;color:#61399d;"&gt;Yahoo! Mail –Villkor för användning&lt;/a&gt;&amp;nbsp;&amp;nbsp;&amp;nbsp;|&amp;nbsp;&amp;nbsp;&amp;nbsp;&lt;a rel="nofollow" target="_blank" href="http://info.yahoo.com/privacy/se/yahoo/details.html" style="text-decoration:underline;color:#61399d;"&gt;Yahoo! Sekretesspolicy&lt;/a&gt;
                  &lt;/div&gt;
              &lt;/td&gt;
          &lt;/tr&gt;
          &lt;tr&gt;
              &lt;td align="left" valign="top"&gt;
                  &lt;div style="font-family:Arial, Helvetica, sans-serif;font-size:11px;line-height:14px;color:#545454;margin-left:16px;margin-right:14px;"&gt;Var god svara inte på detta meddelande. Detta är ett servicemeddelande som rör din användning av Yahoo! Mail. Om du vill veta mer om Yahoo!s användning av personlig information, inklusive användning av webb-beacons i HTML-baserad e-post, kan du läsa vår Yahoo! Sekretesspolicy. Yahoo!s adress är 701 First Avenue, Sunnyvale, CA 94089, USA.&lt;br /&gt;&lt;br /&gt;RefID: lp-1037111&lt;/div&gt;
              &lt;/td&gt;
          &lt;/tr&gt;
      &lt;/table&gt;
  
  
  
  
  
      &lt;/td&gt;
  &lt;/tr&gt;
  &lt;/table&gt;
  &lt;img width="1" height="1" src="http://pclick.internal.yahoo.com/p/s=2143684696"&gt;
  &lt;/body&gt;
  &lt;/html&gt;`
  </code></pre>
  
  <p>and the python code that try to extract the data is as follows.</p>
  
  <pre><code>&gt;&gt;&gt; import sqlite3
  &gt;&gt;&gt; conn = sqlite3.connect('C:/temp/Mobils/export/com.yahoo.mobile.client.android.mail/databases/mail.db')
  &gt;&gt;&gt; c = conn.cursor()
  &gt;&gt;&gt; conn.row_factory=sqlite3.Row
  &gt;&gt;&gt; c.execute('select body from messages_1 where _id=7')
  &lt;sqlite3.Cursor object at 0x0000000001FB78F0&gt;
  &gt;&gt;&gt; r = c.fetchone()
  &gt;&gt;&gt; r.keys()
  ['body']
  &gt;&gt;&gt; print(r['body'])
  Traceback (most recent call last):
    File "&lt;stdin&gt;", line 1, in &lt;module&gt;
    File "C:\Python32\lib\encodings\cp850.py", line 19, in encode
      return codecs.charmap_encode(input,self.errors,encoding_map)[0]
  UnicodeEncodeError: 'charmap' codec can't encode character '\u2013' in position 9629: character maps to &lt;undefined&gt;
  &gt;&gt;&gt;
  </code></pre>
  
  <p>Does anybody have any idea of how to print/write this to a file. Yes I know that this is printed to stdout, but I get the same UnicodeEncodeError when I try to write to a file. I tried both write method of a file object and <code>print(r['body'], file=f)</code>.</p>