Llama.cpp

By masayume on Sat, 28/09/2024 - 14:46
categorie
AI LLM
tools

Llama.cpp
L'obiettivo principale di llama.cpp è quello di consentire l'uso di LLM (ad esempio quelli di huggingface) con una configurazione minima (anche senza GPU) e prestazioni all'avanguardia su un'ampia varietà di hardware, sia a livello locale che in cloud.

Guida llama.cpp - Esecuzione di LLM in locale, su qualsiasi hardware, partendo da zero

[via]

Add new comment

The content of this field is kept private and will not be shown publicly.
About text formats

Full HTML 2

  • Web page addresses and email addresses turn into links automatically.
  • Lines and paragraphs break automatically.

Filtered HTML

  • Web page addresses and email addresses turn into links automatically.
  • Allowed HTML tags: <a href hreflang> <em> <strong> <cite> <blockquote cite> <code> <ul type> <ol start type='1 A I'> <li> <dl> <dt> <dd> <h2 id='jump-*'> <h3 id> <h4 id> <h5 id> <h6 id>
  • Lines and paragraphs break automatically.
CAPTCHA
This question is for testing whether or not you are a human visitor and to prevent automated spam submissions.