Основы программирования для GPU, оптимизация и ваше первое ядро на Triton

В эпоху моделей, оперирующих миллиардами параметров, даже небольшая оптимизация может дать значительный эффект. На обучение таких моделей как GPT4 тратится свыше $100 миллионов, и поэтому выигрыш в 1% КПД позволяет сэкономить более миллиона долларов. Есть мощный способ оптимизировать эффективность моделей машинного обучения – для этого нужно написать некоторые их компоненты прямо на GPU. Если ваш опыт похож на мой, то одно только упоминание ядер CUDA может вызвать у вас озноб — ведь печально известно, как сложно их писать и отлаживать.