Mambarim-110M

Introdução

Mambarim-110M é o primeiro modelo de linguagem em português baseado em uma arquitetura de modelo de espaço de estados (Mamba), não em um Transformer.

Detalhes

• Architecture: a Mamba model pre-trained via causal language modeling
• Size: 119,930,880 parameters
• Context length: 2048 tokens
• Dataset: Pt-Corpus Instruct (6.2B tokens)
• Language: Portuguese
• Number of steps: 758,423

Neste repositório você encontra o código-fonte utilizado para treinar o modelo.

Utilização Básica

Você precisa instalar transformers a partir do main até que transformers=4.39.0 seja disponibilizado.

pip install git+https://github.com/huggingface/transformers@main

Também é recomendável instalar causal_conv_1d e mamba-ssm usando:

pip install causal-conv1d>=1.2.0
pip install mamba-ssm

Você pode usar a API clássica generate:

from transformers import MambaConfig, MambaForCausalLM, AutoTokenizer
import torch
tokenizer = AutoTokenizer.from_pretrained("dominguesm/mambarim-110m")
model = MambaForCausalLM.from_pretrained("dominguesm/mambarim-110m")
input_ids = tokenizer("O Natal é uma", return_tensors="pt")["input_ids"]
out = model.generate(
    input_ids,
    repetition_penalty=1.2,
    temperature=0.8,
    top_k=50,
    top_p=0.85,
    do_sample=True,
    max_new_tokens=10
)
print(tokenizer.batch_decode(out))
# ["<s> O Natal é uma data em que as pessoas passam horas de lazer e"]

Métricas

As métricas de avaliação foram realizadas utilizando a implementação do EleutherAI LM Evaluation Harness (criada por Eduardo Garcia).