title: Python Beautifulsoup: Unable to select element despite of it's there
body: <p>I am parsing information from <a href="https://www.redfin.com/CA/San-Francisco/3418-26th-St-94110/unit-2/home/56802406" rel="nofollow noreferrer">this</a> page. If you scroll down you will find Energy Score section on left which is <code>66</code> here. The HTML I see it is like that:</p>
  
  <pre><code>&lt;div class="energyContentContainer" data-reactid="9"&gt;&lt;div class="RadialMeter fair inline-block energyDataRadial" data-reactid="10"&gt;&lt;div class="viz" data-reactid="11"&gt;&lt;div class="circle" data-reactid="12"&gt;&lt;div class="mask full" style="-webkit-transform:rotate(118.8deg);transform:rotate(118.8deg);" data-reactid="13"&gt;&lt;div class="fill" style="-webkit-transform:rotate(118.8deg);transform:rotate(118.8deg);" data-reactid="14"&gt;&lt;/div&gt;&lt;/div&gt;&lt;div class="mask half" data-reactid="15"&gt;&lt;div class="fill" style="-webkit-transform:rotate(118.8deg);transform:rotate(118.8deg);" data-reactid="16"&gt;&lt;/div&gt;&lt;/div&gt;&lt;div class="shadow" data-reactid="17"&gt;&lt;/div&gt;&lt;/div&gt;&lt;div class="inset" data-reactid="18"&gt;&lt;/div&gt;&lt;/div&gt;&lt;div class="RadialMeterContent" data-reactid="19"&gt;&lt;div class="percentage" data-rf-test-name="ws-percentage" data-reactid="20"&gt;66&lt;/div&gt;&lt;div class="iconAndLabel" data-reactid="21"&gt;&lt;div class="label" data-reactid="22"&gt;&lt;div class="flyoutLabelWrapper" data-reactid="23"&gt;&lt;span class="linklessLabel" data-reactid="24"&gt;Energy Score&lt;/span&gt;&lt;noscript data-reactid="25"&gt;&lt;/noscript&gt;&lt;span data-rf-test-name="flyout-transition-group" data-reactid="26"&gt;&lt;/span&gt;&lt;/div&gt;&lt;/div&gt;&lt;/div&gt;&lt;/div&gt;&lt;/div&gt;&lt;div class="energyComparisons" data-reactid="27"&gt;&lt;span class="how-score-compares-text" data-reactid="28"&gt;How your energy score compares&lt;/span&gt;&lt;div class="lockedSectionBanner" data-reactid="29"&gt;&lt;div class="icon" data-reactid="30"&gt;&lt;svg class="SvgIcon rfSvg secure" style="fill:black;height:24px;width:24px;" data-reactid="31"&gt;&lt;use xmlns:xlink="http://www.w3.org/1999/xlink" xlink:href="#secure"&gt;&lt;/use&gt;&lt;/svg&gt;&lt;/div&gt;&lt;div class="message" data-reactid="32"&gt;&lt;span data-reactid="33"&gt;&lt;p data-reactid="34"&gt;Claim this home to unlock comparisons&lt;/p&gt;&lt;div class="claimHomeButton notSubscribed unclaimed" data-reactid="35"&gt;&lt;a href="#" class="Button med v3 tertiary-alt v3" data-name="Subscribe" tabindex="0" data-reactid="36"&gt;&lt;span data-reactid="37"&gt;I'm the Owner&lt;/span&gt;&lt;/a&gt;&lt;/div&gt;&lt;/span&gt;&lt;/div&gt;&lt;/div&gt;&lt;/div&gt;&lt;div class="rec-wrapper" data-reactid="38"&gt;&lt;h4 class="rec-expenses" data-reactid="39"&gt;&lt;!-- react-text: 40 --&gt;This home spends an estimated &lt;!-- /react-text --&gt;&lt;span class="rec-expense-amount" data-reactid="41"&gt;&lt;!-- react-text: 42 --&gt;$&lt;!-- /react-text --&gt;&lt;!-- react-text: 43 --&gt;74&lt;!-- /react-text --&gt;&lt;/span&gt;&lt;!-- react-text: 44 --&gt;/month on energy. Want to lower your bill?&lt;!-- /react-text --&gt;&lt;/h4&gt;&lt;span class="Solar" data-reactid="45"&gt;&lt;svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24"&gt;&lt;path fill="#585858" d="M12 5.4c-3.6 0-6.5 2.9-6.5 6.5s2.9 6.5 6.5 6.5 6.5-2.9 6.5-6.5c0-3.5-2.9-6.5-6.5-6.5zm0 2c2.5 0 4.6 2 4.6 4.6s-2 4.6-4.6 4.6-4.6-2-4.6-4.6S9.5 7.4 12 7.4zM11.9 0c-.4 0-.7.3-.7.6V4c0 .2.1.4.4.5.2.1.5.1.8 0 .2-.1.4-.3.4-.5V.6c0-.2-.1-.3-.2-.4s-.5-.2-.7-.2zM11.9 19.5c-.4 0-.7.3-.7.6v3.4c0 .2.1.4.4.5.2.1.5.1.8 0 .2-.1.4-.3.4-.5v-3.4c0-.2-.1-.3-.2-.4-.3-.2-.5-.2-.7-.2zM3.5 3.6c-.3.3-.3.7-.1.8l2.4 2.4c.1.2.3.2.6.1.2-.1.4-.3.5-.5s.1-.5-.1-.6L4.4 3.4c-.1-.1-.2-.2-.4-.1-.2 0-.4.1-.5.3zM17.2 17.4c-.2.3-.2.6 0 .8l2.4 2.4c.1.1.4.2.6.1s.4-.3.5-.5c.1-.2.1-.5-.1-.6l-2.4-2.4c-.1-.1-.2-.2-.4-.2s-.4.2-.6.4zM0 12.1c0 .4.3.7.6.7H4c.2 0 .4-.1.5-.4.1-.2.1-.5 0-.8-.1-.2-.3-.4-.5-.4H.6c-.2 0-.3.1-.4.2s-.2.5-.2.7zM19.5 12.1c0 .4.3.7.6.7h3.4c.2 0 .4-.1.5-.4.1-.2.1-.5 0-.8-.1-.2-.3-.4-.5-.4h-3.4c-.2 0-.3.1-.4.2-.2.3-.2.5-.2.7zM3.6 20.5c.3.3.7.3.9.1l2.4-2.4c.1-.1.1-.3 0-.6-.1-.2-.3-.4-.5-.5-.3-.1-.5-.1-.6.1l-2.4 2.4c-.1.1-.2.3-.1.5 0 .1.1.3.3.4zM17.4 6.8c.3.2.6.2.8 0l2.4-2.4c.1-.1.2-.4.1-.6-.1-.2-.3-.4-.5-.5-.2-.1-.5-.1-.6.1l-2.4 2.4c-.1.1-.2.2-.2.4s.2.4.4.6z"&gt;&lt;/path&gt;&lt;/svg&gt;&lt;/span&gt;&lt;div class="rec-title" data-reactid="46"&gt;Consider Solar Panels For Your Roof&lt;/div&gt;&lt;div class="rec-savings" data-reactid="47"&gt;&lt;!-- react-text: 48 --&gt;$&lt;!-- /react-text --&gt;&lt;!-- react-text: 49 --&gt;1026&lt;!-- /react-text --&gt;&lt;!-- react-text: 50 --&gt; savings/year&lt;!-- /react-text --&gt;&lt;/div&gt;&lt;div class="rec-description" data-reactid="51"&gt;&lt;!-- react-text: 52 --&gt;Even with upfront costs, solar power will save the average American around $20,000 over a 20 year period. Local and federal rebates can increase savings even more&lt;!-- /react-text --&gt;&lt;!-- react-text: 53 --&gt;.&lt;!-- /react-text --&gt;&lt;/div&gt;&lt;a href="http://www.servicemagic.com/ext/32271520" class="Button  tertiary v3 rec-button" tabindex="0" target="_blank" rel="noopener noreferrer" data-reactid="54"&gt;&lt;span data-reactid="55"&gt;Get a Quote&lt;/span&gt;&lt;/a&gt;&lt;/div&gt;&lt;/div&gt;
  </code></pre>
  
  <p>If I do following then it's not picking correct element. I tried to check view source and found out that this is not a dynamic element either.</p>
  
  <pre><code>energy_section = soup.select('.energyContentContainer .RadialMeterContent')
  </code></pre>
  
  <p>and it returns <code>[]</code></p>
  
  <p>What wrong am I doing? </p>