千萬級數(shù)據(jù)量的txt是用什么方法導入到oracle數(shù)據(jù)庫中比較快？使用sqlload很快。通常達到每秒5000行。在更嚴格的要求下，應該達到8000個/秒。轉(zhuǎn)換1000萬行數(shù)據(jù)大約需要半個小時。--注

千萬級數(shù)據(jù)量的txt是用什么方法導入到oracle數(shù)據(jù)庫中比較快？

使用sqlload很快。

通常達到每秒5000行。在更嚴格的要求下，應該達到8000個/秒。轉(zhuǎn)換1000萬行數(shù)據(jù)大約需要半個小時。--注：以上是在硬件配置更好的情況下。

mysql表數(shù)據(jù)量太大，達到了1億多條數(shù)據(jù)，除了分庫分表之外，還有沒有其他的解決方式？

在正常配置下，MySQL只能承載2000萬數(shù)據(jù)（同時讀寫，表中有大文本字段，單服務器）。現(xiàn)在已經(jīng)超過1億，而且還在增加，建議按以下方式處理：

1子表。它可以按時間或一定的規(guī)則進行拆分，以便盡可能地查詢子表中的數(shù)據(jù)庫。這是最有效的方法。特別是寫，放入一個新表，并定期同步。如果記錄不斷更新，最好將寫入的數(shù)據(jù)放在redis中，并定期同步表3的大文本字段，將它們分隔成一個新的獨立表。對于較大的文本字段，可以使用NoSQL數(shù)據(jù)庫

4優(yōu)化體系結(jié)構(gòu)，或者優(yōu)化SQL查詢，避免聯(lián)合表查詢，盡量不要使用count（*）、in、recursion等性能消耗語句

5使用內(nèi)存緩存，或者在前端讀取時增加緩存數(shù)據(jù)庫。重復讀取時，直接從緩存中讀取。

以上是一種低成本的管理方法，基本上幾個服務器就可以做到，但是管理起來有點麻煩。

當然，如果總體數(shù)據(jù)量特別大，并且您不關心投資成本，請使用cluster，使用tidb

1。如果數(shù)據(jù)量過大，例如數(shù)億，請使用oracle。數(shù)億數(shù)據(jù)的優(yōu)勢對于Oracle來說是微不足道的，您不需要對配置進行太多優(yōu)化。缺點是安裝比比較麻煩，啟動比較慢。

2. 數(shù)據(jù)量很大，比如上千萬的數(shù)據(jù)。使用PostgreSQL，也就是眾所周知的標桿Oracle，可以處理數(shù)千萬的數(shù)據(jù)，而且也很容易學習和使用。

3. 數(shù)據(jù)量一般，如百萬級。使用MySQL，MySQL可以快速處理這個級別的數(shù)據(jù)量。

4. 數(shù)據(jù)量小，比如不到10萬，SQLite和access都可以。

以上是基于單表操作的數(shù)據(jù)量。你可以從中選擇。

簡單易用的數(shù)據(jù)庫哪個比較好？

常用數(shù)據(jù)庫索引優(yōu)化主要包括子表和子數(shù)據(jù)庫，將大表拆分為小表。您還可以使用數(shù)據(jù)庫中間件，如MYCAT！此外，您還可以通過彈性搜索將搜狗數(shù)據(jù)庫中的數(shù)據(jù)作為單獨的檢索服務導入彈性搜索。