Sachverhalt: A. Die 1957 geborene, zuletzt im erlernten Beruf einer Pflegehelferin tätige K._ meldete sich im Februar 2000 unter Hinweis auf verschiedene körperliche Beschwerden bei der Invalidenversicherung zum Rentenbezug an. Die IV-Stelle des Kantons Aargau sprach ihr Berufsberatung zu. Hingegen verneinte sie mit Verfügung vom 27. Juni 2001 einen Rentenanspruch mit der Begründung, der Invaliditätsgrad betrage lediglich 8 %. Im Februar 2006 meldete sich K._ erneut für eine Invalidenrente an. Sie machte geltend, rechtsseitig an Schulterbeschwerden und einer starken Bewegungseinschränkung am Arm zu leiden. Die IV-Stelle gewährte Arbeitsvermittlung. Sie traf sodann erwerbliche und medizinische Abklärungen (u.a. Einholung der Expertise des Dr. med. B._, Spezialarzt FMH für Innere Medizin, speziell Rheumaerkrankungen, vom 14. Juni 2008 mit Untergutachten der Frau med. pract. H._, Fachärztin für Psychiatrie und Psychotherapie FMH, vom 18. Juni 2008). Unter Berücksichtigung dieser und weiterer ihr zugegangener medizinischer Berichte (u.a. des behandelnden Psychiaters Dr. med. P._, Spezialarzt FMH für Psychiatrie und Psychotherapie, vom 17. September 2009, welcher am 19. November 2009 überdies Ergänzungsfragen der Verwaltung beantwortete) sowie eines Berichtes des Regionalen Ärztlichen Dienstes (RAD) vom 27. November 2009 sprach die Verwaltung der Versicherten mit Verfügung vom 4. Mai 2010 rückwirkend ab 1. Januar 2006 bei einem Invaliditätsgrad von 100 % eine bis 31. November 2006 befristete ganze Invalidenrente zu. Der Rentenanspruch liege in einem Schulterleiden bei zweimaliger Operation begründet. Er werde befristet, da aufgrund diesbezüglicher Verbesserung des Gesundheitszustandes wieder eine volle Arbeitsfähigkeit für angepasste Tätigkeiten bestehe und der Invaliditätsgrad nurmehr 16 % betrage. Weiter hielt die Verwaltung fest, seit Juni 2009 habe sich der Gesundheitszustand durch Hinzukommen eines psychischen Leidens verschlechtert. Das könne nach Ablauf des Wartejahres im Juli 2010 zu einem erneuten Rentenanspruch führen, was auf entsprechende Mitteilung der Versicherten zu prüfen sein werde. B. Beschwerdeweise beantragte K._, es sei über den 1. Dezember 2006 hinaus eine Invalidenrente zuzusprechen. Das Versicherungsgericht des Kantons Aargau lud nebst der IV-Stelle die zuständige Pensionskasse zur Vernehmlassung ein, gewährte K._ die unentgeltliche Rechtspflege und wies die Beschwerde mit Entscheid vom 29. März 2011 ab. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt K._ ihr vorinstanzliches Leistungsbegehren erneuern und um Gewährung der unentgeltlichen Rechtspflege für das bundesgerichtliche Verfahren ersuchen. Die IV-Stelle beantragt die Abweisung der Beschwerde, ohne sich weiter zur Sache zu äussern. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung. 