Gated DeltaNet– tag –

Olmo Hybridは、TransformerとLinear RNNを3:1の比率で組み合わせた7Bパラメータの完全オープンソース言語モデル。Gated DeltaNetアーキテクチャにより、従来のOlmo 3と同等のMMLU精度を維持しながら、49%のトークン削減を実現した革新的なAIモデルです。