This commit is contained in:
Jaewook Lee
2024-07-16 22:07:14 +09:00
parent f814dbb76b
commit 7089230c4a

View File

@@ -26,12 +26,12 @@ contributors](https://github.com/ggerganov/llama.cpp/issues/4216).'''
prompt = {
'filename': '/ggerganov/llama.cpp/master/examples/server/README.md',
'en-US': {'src': example},
'ko-KR': '%PLACEHOLDER%'
'ko-KR': '%FILL%'
}
prompt = json.dumps(prompt)
prompt = re.sub(' "%PLACEHOLDER%(.*)', '', prompt)
print('\n\tPrompt:\n')
print(prompt)
print(json.dumps(prompt, indent=4))
prompt = json.dumps(prompt)
prompt = re.sub(' "%FILL%(.*)', '', prompt)
print('\n---\n')
response = requests.post(
@@ -77,32 +77,55 @@ $ python app.py
Prompt:
{"filename": "/ggerganov/llama.cpp/master/examples/server/README.md", "en-US":
{"src": "# LLaMA.cpp HTTP Server Fast, lightweight, pure C/C++ HTTP server
based on [httplib](https://github.com/yhirose/cpp-httplib),
[nlohmann::json](https://github.com/nlohmann/json) and **llama.cpp**. Set of
LLM REST APIs and a simple web front end to interact with llama.cpp.
**Features:** * LLM inference of F16 and quantum models on GPU and CPU *
[OpenAI API](https://github.com/openai/openai-openapi) compatible chat
completions and embeddings routes * Parallel decoding with multi-user support
* Continuous batching * Multimodal (wip) * Monitoring endpoints * Schema-
constrained JSON response format The project is under active development, and
we are [looking for feedback and
contributors](https://github.com/ggerganov/llama.cpp/issues/4216)."}, "ko-KR":
{
"filename": "/ggerganov/llama.cpp/master/examples/server/README.md",
"en-US": {
"src": "# LLaMA.cpp HTTP Server
Fast, lightweight, pure C/C++ HTTP server based on
(https://github.com/yhirose/cpp-httplib), (https://github.com/nlohmann/json) and
**llama.cpp**.
Set of LLM REST APIs and a simple web front end to interact with llama.cpp.
**Features:**
* LLM inference of F16 and quantum models on GPU and CPU
* [OpenAI API](https://github.com/openai/openai-openapi) compatible chat
completions and embeddings routes
* Parallel decoding with multi-user support
* Continuous batching
* Multimodal (wip)
* Monitoring endpoints
* Schema-constrained JSON response format
The project is under active development, and we are
(https://github.com/ggerganov/llama.cpp/issues/4216)."
},
"ko-KR": "%FILL%"
}
---
Response:
{"src": "# LLaMA.cpp HTTP 서버
[httplib](https://github.com/yhirose/cpp-httplib),
[nlohmann::json](https://github.com/nlohmann/json) 및 **llama.cpp** 기반의
빠르고 가벼운 순수 C/C++ HTTP 서버입니다. LLM REST API 세트 및 llama.cpp와 상호
작용하기 위한 간단한 웹 프런트 엔드입니다. **특징:** * GPU 및 CPU에서 F16 및
양자 모델의 LLM 유추 * [OpenAI API](https://github.com/openai/openai-openapi)
호환되는 채팅 완성 및 잠재형 엔드포인트 * 다중 사용자 지원을 가진 병렬 디코딩 *
지속적인 배치 처리 * 다중 모달 (준비 중) * 모니터링 엔드포인트 * 스키마 제약
JSON 응답 형식 이 프로젝트는 적극적으로 개발 중이며, [피드백 및 기여자를 찾고
(https://github.com/yhirose/cpp-httplib), (https://github.com/nlohmann/json) 및
**llama.cpp** 기반의 빠르고 가벼운 순수 C/C++ HTTP 서버입니다.
LLM REST API 세트 및 llama.cpp와 상호 작용하기 위한 간단한 웹 프런트 엔드입니다.
**특징:**
* GPU 및 CPU에서 F16 및 양자 모델의 LLM 유추
* [OpenAI API](https://github.com/openai/openai-openapi) 호환되는 채팅 완성 및
잠재형 엔드포인트
* 다중 사용자 지원을 가진 병렬 디코딩
* 지속적인 배치 처리
* 다중 모달 (준비 중)
* 모니터링 엔드포인트
* 스키마 제약 JSON 응답 형식
이 프로젝트는 적극적으로 개발 중이며, [피드백 및 기여자를 찾고
있습니다](https://github.com/ggerganov/llama.cpp/issues/4216)."}
---