MIT LIDS/FODSI; MIT LIDS; MIT EECS/LIDS; TU Munich / MIT
Kwangjun Ahn, Xiang Cheng, Hadi Daneshmand, Suvrit Sra
Transformers;In-context learning;adaptive gradient methods
Transformers learn to implement preconditioned gradient descent for in-context learning