Как возвратить значение из функции класса в javascript?
Для начала, почитайте по js что нибудь толковое, потом пишите "классы", то что вы написали - не класс.function Comlib() {

  this.getMessage = function(cb) {
    $.get("get_messages.php", function(resp) {
      cb && cb(resp);
    });
  }

} 

var comlib = new Comlib();

comlib.getMessage(function(num) {
  console.log(num) // здесь уже можно работать с num
});
Ну так само собой, вы не сможете так вернуть.
Событие success происходит гораздо позже чем ваш return (после того как сервер ответит)
Return после Ajax сделать не получится, по крайней мере без костылей.
Можно делать так:comlib.GetMessages = function(callback)
{
   $.ajax
   ({
       url: "get_messages.php",
       type: 'get',
       success: function( data )
       {
            callback(data);
       }
   });
}

comlib.GetMessages(function(data){
   console.info(data); // выведет ответ Ajax
})