Rate limiting
Limitation du nombre de requêtes autorisées sur une période donnée, imposée par les fournisseurs de LLM (et à répercuter côté application) pour éviter la surcharge et maîtriser les coûts.
Limitation du nombre de requêtes autorisées sur une période donnée, imposée par les fournisseurs de LLM (et à répercuter côté application) pour éviter la surcharge et maîtriser les coûts.