Rate limiting

Limitation du nombre de requêtes autorisées sur une période donnée, imposée par les fournisseurs de LLM (et à répercuter côté application) pour éviter la surcharge et maîtriser les coûts.

← Tout le lexique