Я сделал Code Review, может быть я где-то ошибся или у вас есть что добавить?
Опишу, как бы комментировал я
public sealed class DataProvider : IDisposable
{
    // nit: Предложил бы названия firstValue, secondValue либо более осмысленные, если возможно
    public extern int LongRunningCalculation(int value, int value2);
    public extern void Dispose();
}

// nit: сразу бы хотелось видеть уровень доступа и sealed (если класс не планируется наследовать)
// Class2 - дать нормальное имя
// { - перенести на 2ю строку по рекомендациям code style от microsoft (если не принято иных)
class Class2 {
    // Синхронизация не нужна, если убрать метод Init, а Create вызвать в статическом конструкторе
    private readonly object _sync = new object();
    
    // _ht - дать осмысленное название
    // Судя по использованию, value может быть int`ом. Не зачем иметь лишний boxing и проверки на тип
    // _ht статический, значит к нему могут быть обращения из разных потоков, лучше сделать его ConcurrentDictionary
    // Прям сходу не могу сказать, но, возможно, использовал бы какой то другой тип Dictionary <key, key, val> (самописный или существующий), кажется, так было бы быстрее чем массив в ключе
    private static Dictionary<int[], object> _ht; 

    // nit: хотелось бы имена со смыслом
    public int GetValue(int index, int index2)
    {
        // Лишний метод, удалить. Create вызовем в static конструкторе
        Init();
        // Если ключ у нас объект, то необходимо реализовать IEqualityComparer для этого Dictionary (иначе не понятно как по нему искать)
        var key = new[] {index, index2};
        // Проверка на тип не нужна, Dictionary сделаем типа int
        if (_ht.ContainsKey(key) & _ht[key].GetType() == typeof(int))
            // приведение типов больше не нужно
            return ((int)_ht[key]);
        // nit: else не обязателен
        else
            // int не может быть null, будет ошибка, вернуть либо default, либо возвращаемое значение должно быть int?
            return null;
    }

    // Метод удалить, вызовем Create в статическом конструкторе без lock
    public void Init() 
    {
        if (_ht == null)
            lock (_sync)
                Create();
    }
    
    // Нет смысла делать метод public, сделать private
    public static void Create() 
    {
        // nit: и так видно какой тип создаём, можно использовать var
        // Обернуть в using
        DataProvider provider = new DataProvider();
        
        // Тут следует инициализировать значение _ht, т.к. ранее оно нигде не создаётся
        // Не забыть передать реализацию IEqualityComparer в конструктор
        
        // nit: хотелось бы видеть использование фигурных скобок (если не принят иной code style)
        // nit: вместо int можно var
        // i и j, похоже, несут какой то смысл, можно попробовать придумать нормальное название (иначе не понятно почему 100 и 12, их можно в константы класса)
        // nit: возможно можно использовать Parallel.ForEach
        for (int i = 0; i < 100; i++)
            for (int j = 1; j <= 12; j++)
                _ht[new [] { i, j }] = provider.LongRunningCalculation(i, j);
    }
}
А переписал бы так (если не убирать массив в dictionary)
public interface IDataProvider : IDisposable
{
    int LongRunningCalculation(int firstValue, int secondValue);
}

public sealed class DataProvider : IDataProvider
{
    public extern int LongRunningCalculation(int firstValue, int secondValue);
    public extern void Dispose();
}

public sealed class DataProviderService
{
    public DataProviderService(IDataProvider dataProvider)
    {
        _dataProvider = dataProvider;
    }

    private static readonly ConcurrentDictionary<int[], int?> _calculatedCache = new ConcurrentDictionary<int[], int?>(new CalculatedEqualityComparer());
    private readonly IDataProvider _dataProvider;

    public int? GetValue(int firstValue, int secondValue)
    {
        var isNotSupportedValues = firstValue > 100 || firstValue < 0 || secondValue < 1 || secondValue > 12;
        if (isNotSupportedValues)
        {
            return null;
        }

        var key = new[] { firstValue, secondValue };
        if (!_calculatedCache.TryGetValue(key, out var result))
        {
            result = _dataProvider.LongRunningCalculation(firstValue, secondValue);
            _calculatedCache.TryAdd(key, result);
        }
        
        return result;
    }
}
Перво наперво напишу, всем спасибо за Ваши ответы!) В общем, по хорошему стоило бы мне учесть все ответы разработчиков на habr и моих друзей. Но я решил пока запостить вот такой ответ на свой вопрос. 

Можно было бы добавить в этот код еще документацию и что-то еще.  Типо так ... 
/// <summary>
    /// Project status
    /// </summary>
    public enum ProjectStatus
    {
        NotStarted,
        Active,
        Completed
    }

Может быть и расписать параметр и методы, что они возвращают или принимают. Как-то вот так ...  
/// <summary>
        /// Get project by id
        /// </summary>
        /// <param name="id">Id of project</param>
        /// <param name="cancellationToken"></param>
        /// <returns><see cref="ProjectResponse"/></returns>
        [HttpGet]
        [Route("projects/{id}")]
        [ProducesResponseType(typeof(ProjectResponse), 200)]
        [ProducesResponseType(400)]
        [ProducesResponseType(500)]
        public async Task<ProjectResponse> GetProject(long id, CancellationToken cancellationToken)
        {
            return await _projectService.GetByIdAsync(id, cancellationToken);
        }

Не совсем хороший пример документации так, как например можно было бы подробнее расписать что он возвращает.  Ну как Microsoft делает))) Весь код выше был показан только как пример))) 

Собственно вот как мне объяснил или показал мой наставник, как наверное стоило бы сделать по хорошему. Мне нужно еще самому этот код позапускать и все проверить / посмотреть, но сделаю это я после прогулки :) Может быть за это время у кого-то появиться какая-нибудь критика, вопросы, предложения и прочие :) 
using System;
using System.Collections.Concurrent;
using System.Collections.Generic;
using System.Threading.Tasks;
using System.Threading;
 
//EXTERNAL CODE
//Приведен только для справки, никак нельзя менять, код обфусцирован, исходников нет
public sealed class DataProvider : IDisposable
{
    public int LongRunningCalculation(int value, int value2) 
    { 
        Thread.Sleep(200); // milliseconds
        if ((value + value2) % 3 == 0) // 1 of 3 throws exceptions
            throw new ArgumentNullException();
        else
         return value + value2; 
    }
    public void Dispose() { }
}
public class Calculator : IDisposable
{
    private readonly Range rangeI = 0..10;
    private readonly Range rangeJ = 1..10;
 
    private readonly IDataProvider dataProvider;
 
    private readonly ConcurrentDictionary<Key, int> results = new();
 
    private readonly ConcurrentDictionary<Key, Exception> exceptions = new();
 
    public Calculator(DataProvider externProvider)
    {
        dataProvider = new CustomProvider(externProvider);
    }
 
    public async Task Calculate() /// async!!!
    {
        var tasks = new ConcurrentBag<Task>();
 
        for (var i = 0; i < rangeI.End.Value - rangeI.Start.Value; i++)
            for (var j = 0; j < rangeJ.End.Value - rangeJ.Start.Value; j++)
            {
                var key = new Key(i, j);
                tasks.Add(Task.Run(async () =>
                {
                    try //try-get
                    {
                        var result = await dataProvider.LongRunningCalculationAsync(key.FirstValue, key.SecondValue);
                        results.TryAdd(key, result);
                    }
                    catch (Exception ex) // try-get
                    {
                        exceptions.TryAdd(key, ex);
                    }
                }));
            }
 
        await Task.WhenAll(tasks);
    }
 
    public int GetValue(int first, int second)
    {
        if (results.TryGetValue(new Key(first, second), out int value))
        {
            return value;
        }
        else
        {
            if(exceptions.TryGetValue(new Key(first, second), out Exception ex))
                throw ex;
        }
        return 0;
    }
 
    public void Dispose() // обязательно реализовать
    {
        if (dataProvider != null) // проверка на null
            dataProvider.Dispose();
    }
}
 
public interface IDataProvider : IDisposable
{
    Task<int> LongRunningCalculationAsync(int firstValue, int secondValue);
}
 
public class CustomProvider : IDataProvider
{
    private readonly DataProvider _provider;
 
    public CustomProvider(DataProvider provider)
    {
        _provider = provider;
    }
 
    public void Dispose()
    {
        if (_provider != null)
            _provider.Dispose();
    }
 
    public Task<int> LongRunningCalculationAsync(int firstValue, int secondValue)
    {
        var tsc = new TaskCompletionSource<int>();
 
        Task.Run(() =>
        {
            try
            {
                var result = _provider.LongRunningCalculation(firstValue, secondValue);
                tsc.SetResult(result);
            }
            catch (Exception e)
            {
                tsc.SetException(e);
            }
        });
 
        return tsc.Task;
 
        // no, because Exception
        return Task.Run(() => _provider.LongRunningCalculation(firstValue, secondValue));
    }
}
 
readonly public struct Key // struct immutable
{
    public readonly int FirstValue;
    public readonly int SecondValue;
 
    public Key(int first, int second)
    {
        FirstValue = first;
        SecondValue = second;
    }
 
    public override int GetHashCode() // override !!!
    {
        return (FirstValue.GetHashCode() * 1_000_000 + SecondValue.GetHashCode()) % 1_000_000_000;
    }
 
    public override bool Equals(object obj) // override !!!
    {
        var other = (Key)obj;
        return GetHashCode() == other.GetHashCode();
    }
 
    public override string ToString() // не обязательно, но поскольку у нас ключи закрытые - сделаем
    {
        return FirstValue.ToString() + " " + SecondValue.ToString();
    }
}


class Program
{
    static void Main(string[] args)
    {
        using var calculator = new Calculator(new DataProvider());
        calculator.Calculate().Wait();
        try
        {
            var r = calculator.GetValue(1, 1);
            Console.WriteLine("1: 1: " + r);
            r = calculator.GetValue(1, 2);
            Console.WriteLine("1: 1: " + r);
            r = calculator.GetValue(1, 3);
            Console.WriteLine("1: 1: " + r);
        }
        catch (Exception ex)
        {
            Console.WriteLine(ex.Message);
        }
        Console.ReadLine();
    }
}

Добавлю от себя, что будь это допустим не интервью, а реальный проект то Code Review наверное бы делал не один я, а много разработчиков (команда). Ну после интервью я показав этот код своим друзьям, своему наставнику и выложив его на habr. Так же Code Review, как писали уже выше нужно делать в несколько подходов и добавлю от себя что его должен делать не один человек, что бы найти все возможные проблемы. В общем я соглашусь с мнением Александр то что компания возможно "галера"  и добавлю что интервью прошло не так хорошо, мы договаривались на 2ч, а на деле оказалось 1ч с чем-то плюс мину. Только их HR / рекрутер показалась мне компетентной и она мне понравилось, а интервью г**** :)