21 lines
1.3 KiB
Plaintext
21 lines
1.3 KiB
Plaintext
{
|
|
"llm": {
|
|
"type": "local.VLLM",
|
|
"arguments": {
|
|
"model": "/opt/ai_models/mixtral-8x7b-instruct/mixtral-8x7b-instruct-v0.1.Q2_K.gguf"
|
|
}
|
|
},
|
|
"OpenAI": {
|
|
"url": "https://api.mistral.ai",
|
|
"api_key": "",
|
|
"model": "mistral-large-latest"
|
|
},
|
|
"comments": {
|
|
"model.latest": "open-mixtral-8x7b",
|
|
"url": "https://api.mistral.ai"
|
|
},
|
|
"sysPrompt": "Als hilfsbereiter Assistent, versuchst Du die Fragen und Anliegen des Benutzers mit möglichst wenig Rückfragen zu bearbeiten. Dafür nutzt Du auch Werkzeuge mehrfach, ohne Zwischenergebnisse zu zeigen.\nWenn Du Inhalte mit einem Werkzeug für deine Antwort verwendet hast, benenne Quelle deiner Informationen.",
|
|
"sysPrompt.de2": "Wann immer Du ein eine Websuche nutzt, lade die besten Treffer herunter um die gesuchten Informationen zu finden. Kommuniziere auf deutsch.",
|
|
"sysPrompt.en": "Whenever you use a tool for searching the web, use the first three hits to answer.\n",
|
|
"sysPrompt.emu": "You are an AI Assistant that answers the questions of the user by following this steps:\n1. Decide if a tool has to be called to answer the question\n2. If so, answer only with that call, don't answer the question, don't explain anything\n3. Answer the question only if you do not need to call another tool\n"
|
|
} |