Parameters	517M
Context length	32,768 tokens (YaRN RoPE)
Architecture	LLaMA-style decoder-only transformer
Layers	24
Attention heads	20 (MHA)
Hidden dim	1,280
FFN dim	3,456 (SwiGLU)
Vocabulary	32,000 (SentencePiece Unigram)
Normalization	RMSNorm (pre-norm)
Positional encoding	RoPE (θ=10000) + YaRN scale=4
Activation	SwiGLU
Training data	~4.5B tokens (Wikipedia + HPLT + HunSum2)
License	MIT

Architecture

┌─────────────────────────────────────────────┐
│            Patak 517M (LLM)                 │
│         Hungarian · Decoder-only            │
├─────────────────────────────────────────────┤
│                                             │
│  ┌───────────────────────────────────────┐  │
│  │          Embedding (32K → 1280)       │  │
│  │           (weight-tied ↕)             │  │
│  └──────────────────┬────────────────────┘  │
│                     │                       │
│  ┌──────────────────┼────────────────────┐  │
│  │                  ▼          ×24 layers │  │
│  │  ┌─────────────────────────────────┐  │  │
│  │  │           RMSNorm               │  │  │
│  │  └────────────────┬────────────────┘  │  │
│  │                   ▼                   │  │
│  │  ┌─────────────────────────────────┐  │  │
│  │  │    Multi-Head Attention         │  │  │
│  │  │    20 heads · 64d/head          │  │  │
│  │  │    YaRN RoPE (θ=10K, 4× scale) │  │  │
│  │  │    Causal mask                  │  │  │
│  │  └────────────────┬────────────────┘  │  │
│  │                   │                   │  │
│  │          ┌────────┤                   │  │
│  │          │   ⊕ ◄──┘  (residual)      │  │
│  │          │                            │  │
│  │  ┌───────┴─────────────────────────┐  │  │
│  │  │           RMSNorm               │  │  │
│  │  └────────────────┬────────────────┘  │  │
│  │                   ▼                   │  │
│  │  ┌─────────────────────────────────┐  │  │
│  │  │         SwiGLU FFN              │  │  │
│  │  │    gate: 1280 → 3456 (SiLU)    │  │  │
│  │  │    up:   1280 → 3456            │  │  │
│  │  │    down: 3456 → 1280            │  │  │
│  │  └────────────────┬────────────────┘  │  │
│  │                   │                   │  │
│  │          ┌────────┤                   │  │
│  │          │   ⊕ ◄──┘  (residual)      │  │
│  │          │                            │  │
│  └──────────┼────────────────────────────┘  │
│             ▼                               │
│  ┌───────────────────────────────────────┐  │
│  │           RMSNorm (final)             │  │
│  └──────────────────┬────────────────────┘  │
│                     ▼                       │
│  ┌───────────────────────────────────────┐  │
│  │     LM Head (1280 → 32K logits)      │  │
│  │       (tied with Embedding)           │  │
│  └───────────────────────────────────────┘  │
│                                             │
├─────────────────────────────────────────────┤
│  Params: ~517M  │ Dtype: bfloat16           │
│  Context: 2048 (→4096 via YaRN)            │
│  Tokenizer: SentencePiece Unigram 32K      │
└─────────────────────────────────────────────┘

Downloads

patak	float16 · Transformers · 1.0 GB
patak-gguf	Q4_K_M / Q8_0 · llama.cpp · CPU/GPU
patak-mlx	bfloat16 · MLX · Apple Silicon