DeepSeek，全稱(chēng)杭州深度求索人工智能基礎技術(shù)研究有限公司。DeepSeek 是一家創(chuàng )新型科技公司，成立于2023年7月17日，使用數據蒸餾技術(shù)，得到更為精煉、有用的數據。由知名私募巨頭幻方量化孕育而生，專(zhuān)注于開(kāi)發(fā)先進(jìn)的大語(yǔ)言模型（LLM）和相關(guān)技術(shù)。

2024年1月5日，發(fā)布DeepSeek LLM（深度求索的第一個(gè)大模型）。1月25日，發(fā)布DeepSeek-Coder。2月5日，發(fā)布DeepSeekMath。3月11日，發(fā)布DeepSeek-VL。5月7日，發(fā)布DeepSeek-V2。6月17日，發(fā)布DeepSeek-Coder-V2。9月5日，更新 API 支持文檔，宣布合并 DeepSeek Coder V2 和 DeepSeek V2 Chat ，推出?DeepSeek V2.5。12月13日，發(fā)布DeepSeek-VL2。12月26日晚，正式上線(xiàn)DeepSeek-V3首個(gè)版本并同步開(kāi)源。2025年1月31日，英偉達宣布DeepSeek-R1模型登陸NVIDIANIM。同一時(shí)段內，亞馬遜和微軟也接入DeepSeek-R1模型。英偉達稱(chēng)，DeepSeek-R1是最先進(jìn)的大語(yǔ)言模型。2月5日消息，DeepSeek-R1、V3、Coder 等系列模型，已陸續上線(xiàn)國家超算互聯(lián)網(wǎng)平臺。2月6日消息，澳大利亞政府以所謂“擔心安全風(fēng)險”為由，已禁止在所有政府設備中使用DeepSeek。2月8日，DeepSeek正式登陸蘇州，并在蘇州市公共算力服務(wù)平臺上完成部署上線(xiàn)，為用戶(hù)提供開(kāi)箱即用的軟硬件一體服務(wù)。

主要產(chǎn)品

2024年1月5日，發(fā)布DeepSeek LLM，這是深度求索的第一個(gè)大模型。DeepSeek LLM包含670億參數，從零開(kāi)始在一個(gè)包含2萬(wàn)億token的數據集上進(jìn)行了訓練，數據集涵蓋中英文。全部開(kāi)源DeepSeek LLM 7B/67B Base和DeepSeek LLM 7B/67B Chat，供研究社區使用。DeepSeek LLM 67B Base在推理、編碼、數學(xué)和中文理解等方面超越了Llama2 70B Base。DeepSeek LLM 67B Chat在編碼和數學(xué)方面表現出色。它還展現了顯著(zhù)的泛化能力，在匈牙利國家高中考試中取得了65分的成績(jì)。當然，它還精通中文：DeepSeek LLM 67B Chat在中文表現上超越了GPT-3.5。

2024年1月25日，發(fā)布DeepSeek-Coder，DeepSeek Coder由一系列代碼語(yǔ)言模型組成，每個(gè)模型均從零開(kāi)始在2萬(wàn)億token上訓練，數據集包含87%的代碼和13%的中英文自然語(yǔ)言。代碼模型尺寸從1B到33B版本不等。每個(gè)模型通過(guò)在項目級代碼語(yǔ)料庫上進(jìn)行預訓練，采用16K的窗口大小和額外的填空任務(wù)，以支持項目級代碼補全和填充。DeepSeek Coder在多種編程語(yǔ)言和各種基準測試中達到了開(kāi)源代碼模型的最先進(jìn)性能。

2024年2月5日，發(fā)布DeepSeekMath，DeepSeekMath以DeepSeek-Coder-v1.5 7B為基礎，繼續在從Common Crawl中提取的數學(xué)相關(guān)token以及自然語(yǔ)言和代碼數據上進(jìn)行預訓練，訓練規模達5000億token。DeepSeekMath 7B在競賽級MATH基準測試中取得了51.7%的優(yōu)異成績(jì)，且未依賴(lài)外部工具包和投票技術(shù)，接近Gemini-Ultra和GPT-4的性能水平。

2024年3月11日，發(fā)布DeepSeek-VL，DeepSeek-VL是一個(gè)開(kāi)源的視覺(jué)-語(yǔ)言（VL）模型，采用了混合視覺(jué)編碼器，能夠在固定的token預算內高效處理高分辨率圖像（1024 x 1024），同時(shí)保持相對較低的計算開(kāi)銷(xiāo)。這一設計確保了模型在各種視覺(jué)任務(wù)中捕捉關(guān)鍵語(yǔ)義和細節信息的能力。DeepSeek-VL系列（包括1.3B和7B模型）在相同模型尺寸下，在廣泛的視覺(jué)-語(yǔ)言基準測試中達到了最先進(jìn)或可競爭的性能。

2024年5月7日，發(fā)布第二代開(kāi)源Mixture-of-Experts（MoE）模型——DeepSeek-V2。DeepSeek-V2是一個(gè)強大的混合專(zhuān)家（MoE）語(yǔ)言模型，以經(jīng)濟高效的訓練和推理為特點(diǎn)。它包含2360億個(gè)總參數，其中每個(gè)token激活210億個(gè)參數。與DeepSeek 67B相比，DeepSeek-V2不僅實(shí)現了更強的性能，同時(shí)還節省了42.5%的訓練成本，將KV緩存減少了93.3%，并將最大生成吞吐量提升至5.76倍。在一個(gè)包含8.1萬(wàn)億token的多樣化且高質(zhì)量的語(yǔ)料庫上對DeepSeek-V2進(jìn)行了預訓練。在完成全面的預訓練后，通過(guò)監督微調（SFT）和強化學(xué)習（RL）進(jìn)一步釋放了模型的潛力。評估結果驗證了方法的有效性，DeepSeek-V2在標準基準測試和開(kāi)放式生成評估中均取得了顯著(zhù)的表現。DeepSeek V2模型因在中文綜合能力評測中的出色表現，且以極低的推理成本引發(fā)行業(yè)關(guān)注，被稱(chēng)為“AI界的拼多多”。