Sachverhalt: A. Der 1973 geborene F._ meldete sich im Juli 2002 bei der Invalidenversicherung zum Leistungsbezug an. Mit Verfügungen vom 1. November 2006 und 9. Mai 2007 sprach ihm die IV-Stelle Bern eine ganze Invalidenrente ab 1. Juni 2002 (nebst Ehegatten- und Kinderrente) zu. Während einer vom 23. Oktober 2006 bis 6. Mai 2007 dauernden beruflichen Abklärungsmassnahme ersetzte sie die Rente durch Taggelder (Verfügungen vom 17. Oktober 2006 und 5. Februar 2007). Nach weiteren Abklärungen hob sie die Rente mit Verfügung vom 15. Februar 2008 auf den 31. März 2008 auf. Das Verwaltungsgericht des Kantons Bern hiess die dagegen erhobene Beschwerde mit Entscheid vom 27. April 2009 gut und wies die Sache zum weiteren Vorgehen im Sinne der Erwägungen an die Verwaltung zurück; auf das Rechtsmittel gegen die Verfügung vom 14. Juni 2008 betreffend den Rentenanspruch resp. die Rentenhöhe vom 1. Mai 2007 bis 31. März 2008 trat es hingegen nicht ein. Nach weiteren Ermittlungen und Durchführung des Vorbescheidverfahrens bestätigte die IV-Stelle unter Annahme eines Invaliditätsgrades von 28 % die Aufhebung der Invalidenrente (Verfügung vom 25. März 2010). B. Die Beschwerde des F._ wies das Verwaltungsgericht des Kantons Bern mit Entscheid vom 7. Oktober 2010 ab. C. F._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, der Entscheid vom 7. Oktober 2010 und die Verfügung vom 25. März 2010 seien aufzuheben und es sei ihm mindestens eine halbe Invalidenrente zuzusprechen. Er lässt ferner um unentgeltliche Rechtspflege ersuchen. Die IV-Stelle beantragt die Abweisung der Beschwerde. Das kantonale Gericht und das Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung. D. In einem vom Bundesgericht angeordneten zweiten Schriftenwechsel äusserten sich die Parteien und das kantonale Gericht zur Frage einer Wiedererwägung. 