Верно ли равенство (x + y)^2 = О(x^2 + y^2)?
Не верно. Очевидно. Потому что 2xy = O(1) Верно.
Пусть C = 3
Докажем, что (x + y)^2 <= 3 * (x^2 + y^2) при x > 0 и y > 0:
после преобразований 2*x*y <= 2*x^2 + 2*y^2
Если x < y, то 2*x*y < 2*y^2
Если x >= y, то 2*x*y <= 2*x^2
ч.т.д.
Ну если x=0 и y = 0 
Верно однозначно ) 
--
При других значениях лень смотреть.... да и непонятно там O(....) или 0(.....) ?