作者:小傅哥,博客:https://bugstack.cn
大家好,我是技術(shù)UP主小傅哥。
在 OpenAI 剛興起的時候,一個非算法的外行Java,想在個人電腦上部署個 GPT2 都費老鼻子勁了?,F(xiàn)在 DeepSeek 開源以后,拿這 Ollama 直接就能部署,兼職比程序員?安裝 Java JDK 都容易。Java 二狗,也能過上算法的日子。
自己部署的 DeepSeek 功能還挺多!
自己基于 Ollama 部署的一套 DeepSeek,可以提供獨屬于你自己一套的 AI,并且可以做圖片識別、聯(lián)網(wǎng)、知識庫。而且如果你是一個需要使用 DeepSeek 接口做開發(fā)的碼農(nóng),還可以直接使用自己提供的這套 API 做開發(fā)。
接下來,小傅哥就帶著你使用 Docker 完成 Ollama 的安裝和 DeepSeek 模型的部署。Docker 可以在任何環(huán)境執(zhí)行,小傅哥自己是放到 Nas 環(huán)境里部署。部署完成后,安裝谷歌瀏覽器插件 Page Assist 使用 Ollama 部署的 DeepSeek 模型。
跟著小傅哥一起學(xué)習(xí)這些技術(shù)在編程中的實戰(zhàn)使用,嘎嘎沖!文末提供了非常多的實戰(zhàn)項目!
一、部署腳本
小傅哥這里為你提供了執(zhí)行安裝的腳本,以及測試API的方法;
- 代碼:https://github.com/fuzhengwei/xfg-dev-tech-ollamadev-ops,提供了 docker-compose.yml 部署 ollama 腳本。這個文件你可以放到任何安裝了 Docker 的環(huán)境里執(zhí)行。src 代碼,提供的是測試這套 Ollama 下的大模型。除了你本節(jié)部署的 DeepSeek,以后部署其他的也可以這樣使用。
二、部署安裝
1. 執(zhí)行腳本
#?docker?compose?-f?docker-compose.yml?up?-d
version:?'3.8'
services:
??ollama:
#????image:?ollama/ollama:0.5.10
????image:?registry.cn-hangzhou.aliyuncs.com/xfg-studio/ollama:0.5.10
????container_name:?ollama
????restart:?unless-stopped
????ports:
??????-?"11434:11434"
-
- 原始鏡像
image: ollama/ollama:0.5.10
-
- 代理鏡像
registry.cn-hangzhou.aliyuncs.com/xfg-studio/ollama:0.5.10
docker compose -f docker-compose.yml up -d
2. 模型說明 - DeepSeek
模型 | 內(nèi)存 | 存儲 | 特點 |
---|---|---|---|
deepseek-r1:1.5b | 8G | 12GB | 輕量級模型,運行速度快,性能有限。 |
deepseek-r1:7b | 16G | 80GB | 平衡型模型,性能較好,硬件需求適中。 |
deepseek-r1:14b | 32G | 200GB | 高性能模型,擅長復(fù)雜任務(wù)(數(shù)學(xué)推理,代碼生成) |
deepseek-r1:32b | 64G | 320GB | 專業(yè)級模型,性能強大,適合高精度任務(wù) |
deepseek-r1:70b | 128G | 500GB+ | 頂級模型,性能最強,適合大規(guī)模計算和高復(fù)雜任務(wù)執(zhí)行。 |
- 這里小傅哥選擇的是 1.5b 模型,你可以按照自己的機器配置進行選擇。
3. 模型安裝 - DeepSeek
你需要進入到 Ollama 管理后臺執(zhí)行安裝模型腳本;
#?拉取模型
ollama?pull?deepseek-r1:1.5b
#?運行模型
ollama?run?deepseek-r1:1.5b
#?聯(lián)網(wǎng)模型
ollama?pull?nomic-embed-text
-
- 命令:
docker exec -it ollama /bin/bash
- 也可以進入控制臺首先,安裝完成后,可以執(zhí)行運行之后在后臺進行對話。對話完成需要關(guān)閉的話,運行 Ctrl + D 關(guān)閉。之后,安裝聯(lián)網(wǎng)模型。這個過程要持續(xù)一會。另外不要一下就選很大的模型,怕你扛不住。
三、配置插件
官網(wǎng):https://github.com/n4ze3m/page-assist
1. 搜索安裝
為了更方便的使用 DeepSeek 模型,這里可以在谷歌瀏覽器安裝一個 Page Assist 插件。
- 點擊安裝 Page Assist 插件
2. 鏈接地址
3. 設(shè)置中文
4. 配置知識庫 - RAG
5. 添加知識庫 - PDF/MD
四、對話使用
1. ai對話
- 你可以選擇模型、聯(lián)網(wǎng)、圖片識別和自己設(shè)定的知識庫。
2. 頁面對話
- 你可以在插件上右鍵,之后就可以與你需要的另外的網(wǎng)頁進行對話。理解網(wǎng)頁內(nèi)容做解答。
五、API 對接
1. curl 接口
curl?http://192.168.1.109:11434/api/generate?
??-H?"Content-Type:?application/json"?
??-d?'{
????????"model":?"deepseek-r1:1.5b",
????????"prompt":?"1+1",
????????"stream":?false
??????}'
- 這是請求 Ollama DeepSeek 模型的 curl 操作。
2. 代碼請求
2.1 配置接口
@Configuration
public?class?OllamaConfig?{
????@Bean
????public?OllamaApi?ollamaApi()?{
????????Retrofit?retrofit?=?new?Retrofit.Builder()
????????????????.baseUrl("http://192.168.1.109:11434")
????????????????.addConverterFactory(JacksonConverterFactory.create()).build();
????????return?retrofit.create(OllamaApi.class);
????}
????public?interface?OllamaApi?{
????????@POST("/api/generate")
????????Call<OllamaResponse>?generate(@Body?OllamaRequest?request);
????}
????@Data
????@AllArgsConstructor
????@NoArgsConstructor
????public?static?class?OllamaRequest?{
????????private?String?model;
????????private?String?prompt;
????????private?boolean?stream;
????}
????
????//?...?省略部分代碼
}????
- 這里我們使用 retrofit2 框架封裝對模型API的訪問。
2.2 訪問接口
@Slf4j
@RunWith(SpringRunner.class)
@SpringBootTest
public?class?OllamaTest?{
????@Resource
????private?OllamaConfig.OllamaApi?api;
????@Test
????public?void?test_chat()?throws?IOException?{
????????OllamaConfig.OllamaRequest?request?=?new?OllamaConfig.OllamaRequest(
????????????????"deepseek-r1:1.5b",
????????????????"1+1",
????????????????false
????????);
????????Call<OllamaConfig.OllamaResponse>?generate?=?api.generate(request);
????????Response<OllamaConfig.OllamaResponse>?execute?=?generate.execute();
????????OllamaConfig.OllamaResponse?response?=?execute.body();
????????log.info("測試結(jié)果:{}",?JSON.toJSONString(response.getResponse()));
????}
}
-
- 如圖,運行結(jié)果可以看到調(diào)用API沒問題啦。另外,SpringAI 也提供了訪問 ollama 的 Jar,也可以使用。后續(xù)會提供這塊的內(nèi)容。其他資源:https://618.gaga.plus - 有云服務(wù)器一鍵部署DeepSeek很爽。
小傅哥有那么多課程內(nèi)容,我加入后都可以學(xué)習(xí)嗎?可以!
- 從你加入開始,所有過往的課程和積累內(nèi)容,你都可以學(xué)習(xí)。從21年創(chuàng)建星球社群到現(xiàn)在。加入有效期1年內(nèi),新創(chuàng)作項目,都可以學(xué)習(xí)。過期后,從過期日到過去的星球內(nèi)容,全部可以學(xué)習(xí)。續(xù)費,有效期內(nèi)5折續(xù)費,續(xù)費只是相當(dāng)于續(xù)費新項目和小傅哥的服務(wù)。
好啦,這就是小傅哥的技術(shù)列車,嘎嘎實惠!?? 幾乎沒有哪個大廠架構(gòu)師,用這么一個普惠的價格手把手的教大家學(xué)習(xí)了。