MacOCRBenchとは
MacOCRBenchはApple Silicon Mac向けのOCRベンチマークです。
OCR処理性能、スループット、マルチプロセス効率、安定性を測定し、Mac OCR PowerScoreとして評価します。
前提条件
- Apple Silicon 搭載のMac
- macOS Monterey以降
ダウンロード
MacOCRBench can be downloaded from:
実行する
- 起動:テスト画像を自動生成します
- OCRテスト用画像20枚をローカル環境上で自動生成します。
- テスト開始:同時実行数を増やして、計測します
- テスト開始でSingleフェーズ、Multi 2 Laneフェーズ、Multi 3 Laneフェーズ ... というように負荷をかけていきます。
- テスト終了
- 前フェーズよりスコアが伸びないポイントで終了します。
- 実行結果はHTMLで提供されます。
INFO
OCRテスト用画像20枚をローカル環境上で自動生成します。画像はアプリ終了時に削除され、外部送信は行いません。
INFO
初回起動時、Mac Identifier（Mac 14.2等）からモデル名(MacBook Air[M2,2022]等)を得るためインターネット接続が必要です。
未接続、当該Site未登録モデルの場合、Mac Identifierが表示されます。
HTMLサンプル
実行結果HTMLはこのような形式になります。サンプルHTML
Laneって何？
Laneは同時実行するOCR処理数（プロセス数）を表します。
テストモード
| テストモード | 説明 |
|---|---|
| Quick Test | 各フェーズ1回。MacBook Airなどのファンレスモデル。 |
| Standard Test | 一般的な利用。各フェーズ3回試行。最も良いスコアを採用します。 |
| Research Test | 詳細な比較・検証。各フェーズ5回試行。最も良いスコアを採用します。 |
終了条件
スコアが前フェーズを上回れなくなった時点でテストを終了します。
- MacOCRBenchは最高スコアを記録したフェーズをそのMacの性能として評価します。
- スコア低下後のフェーズは性能向上の可能性が低いため実行しません。
実行ランキングと各フェーズの挙動
各フェーズの完了段階でスコア、スループットに基づいた順位（同一Apple Siliconファミリー内の順位、全体の順位）を評価します。
- 評価結果はメイン画面の他、実行結果HTMLにも記載されます。
Tier
一目でわかる総合評価がTierです。
| Tier | 基準 |
|---|---|
| S | Top 0-3% |
| A | 3-15% |
| B | 15-40% |
| C | 40-75% |
| D | 75-100% |
Rank
| Rank | 基準 |
|---|---|
| Elite | Top 0-5% |
| Excellent | 5-15% |
| Above Average | 15-30% |
| Average | 30-60% |
| Entry | 60-100% |
Scaling Efficiency
Lane数が増えた事に対する達成率を評価しています。
| Label | 基準 |
|---|---|
| Excellent | 90%+ |
| Good | 75%+ |
| Fair | 55%+ |
| Limited | 35%+ |
| Saturated | <35% |
NOTE
ランキング評価のため結果データを送信します。
送信データ：
- スコア
- モデル名
- メモリ容量
個人を特定する情報は含まれません。
評価処理にはインターネット接続が必要です。
レポート
実行結果は、HTMLファイル形式で提供します。
- ファイルメニュー 「Open Last Report...」
- ブラウザーで最後の結果を表示します
- ファイルメニュー 「Open in Finder」
- 実行結果一時保存フォルダをFinderで開きます
- ファイルメニュー 「Save Report...」
- 最後の実行結果を任意のフォルダへ保存します
ランキング
ランキング登録は任意です。結果送信を行った場合のみランキングへ掲載されます。
Globalランキングおよび M1 / M2 / M3 / M4 / M5ファミリー別のランキングサイトに結果を掲載することができます。
INFO
サンプルが多くなってきたところで公開します。公開までしばらくお時間をください。