in

AIプロジェクトの管理はどんな感じ?PDCA、EAPを通して障害者に活躍の場を提供するFLOW AI

文/ Flow AI Blog編集部

【FLOW アノテーションの心得】
1. どんなに複雑なルールでも、頭に残る一言に纏めよう。
2. 盲点は必ずある。データを利用して正しい人員配置を。
3. 継続的なコミュニケーションと最適化。集合知で質と量を更に引き上げよう。

アノテーションの作業現場ってどんな感じ?

定例会議で、  FLOW のスタッフは少しでも手掛かりを得ようとクライアントが提供した交通流映像を必死に見つめています。どういうわけか、色んな車種の中で大型自動車だけ歩留まりが異常に悪い。要望が次から次へと来る中、何としても納期に間に合わせなければなりません。なにせ開発が滞ると、お客様の事業も影響を受けますから。

データから原因を見つけ出そうとしているうちに、突然「わかったぞ!大型自動車のバックミラーが他の車種より長くて突出しているからだ」と誰かが叫びました。原因が判明次第、マネージャーたちはすぐにフィードバックシステムを通じてそれをアノテーターに周知しました。その甲斐があって、ラベル漏れは20~30%から1~2%になり、歩留まりは大幅に改善されました。

画像/プロジェクト初期では、トラックの誤ラベリング率は大型自動車よりも高くなっています。しかしこの問題が解決された後でも、大型自動車(バス等)の不良率は高いまま。後にこれはバックミラーの問題だと判明しました。

これは弊社のAI部門ではしょっちゅう見かけられる場面です。まるで謎解きだ、とプロジェクトマネージャーのジョンは言います。

「謎解きは一つのサイクルです。まず問題があって、それから必要なデータを集めます。どんなデータでも、次の解答に役立ちます。」


アノテーションの鍵とは

FLOWのAI部門はどのようにして僅か一年前後でアノテーション事業を確立し、台湾各地の200名以上の障害者の方々と協力関係を築き、100件以上の実績を残せたのか?これは、弊社がよく聞かれる質問です。

変化の激しいAI業界では、アノテーション案件は突発的なものが多いし、納期も厳しい。そんな中、ジョン率いる  マネージャーチームは作業方法、効率最適化及び品質チェック関連の業務を担当しています。さながらアノテーション作業における心臓部で、プロジェクトの随時修正とフィードバックの大任を任されています。

多くの企業は作業最適化、もしくは新しいビジネスモデルの開拓にAIの導入を検討しますが、データアノテーション作業を自前・外注で対応するかは、もはや経営リソースを配分する際に考慮すべき事項の一つとなっています。

(関連記事:アノテーションがお手軽に!

プロジェクト始動時にまずエンジニアにルールを作成させ、それからラベリング作業を引き続きエンジニアか他のスタッフにやってもらう企業は少なくありません。しかしそれでは、実務上3つのボトルネックに遭遇する可能性があります:

1. エンジニアの説明はアノテーターが理解できるものとは限らない
2.
ルールは状況によって文字だとわかりやすいが、実行に移すと難しい場合も
3.
人にはそれぞれ認知バイアスがあって、全種類のデータに対応できると限らない

大抵の場合、弊社のマネージャーチームはエンジニアと接触する第一線で、アノテーションルールが簡潔明瞭であるかを確認します。例えば指紋認識の案件では、ジョンのチームは受注時から、これは普段の生活に馴染みのないものだから、アノテーター達が対応できるよう「エンジニアの指示をわかりやすく翻訳する」必要があるとすぐに気づきました。

このように、弊社のスタンスは契約を一つでも多く取るのではなく、むしろプロジェクト始動に向けて出来るだけ、

「時間をかけて状況を把握し、試行錯誤を経て最適な作業方式を提案します」。

アノテーターに発注した後も、最初の3日間で作業状況を観察しながら、順調・不調なケースを分析し、歩留まり率を最短期間で予定レベルにまで引き上げます。

ジョンのパソコンの中では、様々な「行き詰まり」ケースが記録されています。

「色んなところから依頼が来るから、ありそうな問題は大体把握しています」と彼は笑いながら話しました。

例えば、「車が画面の中で ⅔ 出たら囲んで」という指示は、一見分数の概念さえあれば理解できそうなものですが、いざパソコンの前に座ると頭が回らないこともよくあります。

何回かこのような状況を経験した後、FLOWのチームはあることに気づきました。人間の脳は奇数より偶数で割る計算のほうが得意なので、エンジニア達にルールの「⅔」を「¾」に変更するように提案しました。

ただし比較的にやりやすい「¾」でも、理解を実践に移すのは誰でもすぐにできることではありません。そのため、我々は自社のプラットフォームを駆使してスタッフの行動データを集め、これに基づき色分け・座標表示・ショートカットなどの便利機能を搭載したツールを開発し、アノテーターの判断時間の短縮に成功しました。

特にコンピュータビジョンにおいて、近年はより細密な処理が求められるようになりましたが、人間の脳はピクセル単位で物を識別するのは難しい。弊社のプラットフォームでは、アノテーターは枠の色を見るだけでオブジェクトのピクセルサイズを判断でき、枠の大きさが指定された条件と一致すれば色が変わる仕様となっています。これによりラベリング速度の大幅向上とともに、モニターとにらめっこする必要もなくなりました。


集合知でアノテーション

それ他にも、弊社のAIチームは様々なアプローチでスタッフから創意工夫を引き出し、最短時間でクオリティアップができるように心がけています。

例えば直近に、連続した画像からあるオブジェクトを検出するためにズームイン・アウト作業を繰り返す必要のある依頼がありました。そんな中、機転の効くアノテーターが一人いて、独自でこの反復作業をワンクリックで完結するマクロを作成しました。弊社のマネージャーチームは日々のモニタリングでこのスタッフの効率が突出しているのに気づき、そのコツをグループミーティングで共有するように勧めた結果、プロジェクト全体の成績向上に繋がりました。

ジョンはこれに関して、「5秒かかる作業を0.5秒にできれば、それだけで生産性が上がります」と話ました。

弊社の代表取締役陳潔如が、講演会やフォーラムなどの場面で社内の随時フィードバックシステムについて語る際、来場している企業役員の方々はいつも驚きを隠せない様子だったそうです。

彼女の言葉を借りると、FLOWは一般企業と違ってアノテーター   の多くは障害者の方で、優秀なフィードバックシステムがないと仕事が捗りません。こういった「使用者目線」な作業設計は、巡り巡ってPDCA(Plan-Do-Check-Act)サイクルの実践にも一役買う形になりました。

画像/ インターネットより

テクノロジー × イノベーション

弊社のマネージャーチームは今、アノテーター向けEAP(従業員支援プログラム)から得た経験に基づき、プロジェクトごとに一人ひとりのアノテーターの行動データと成績を記録するデータベースを構築しています。得意不得意は人それぞれですから、データの助けを借りて人員の配置を最適にするためです。

また、アノテーションの精度上げにもマネージャーチームの助力は欠かせません。例えば「リアルタイムモニタリング機能」を設置し、経験則から各動作の平均時間を割り出し、規定の修正回数を超えるとアノテーターのところに注意メッセージが送られます。逆に、作業状況が良好の場合は代わりに励ましのメッセージが届くように設定されています。

FLOWはフィードバックシステムと最先端のプラットフォームを通して、障害者の方々にも健常者と同じようにAI産業に参入できる入り口を提供しています。自分の力で稼ぐようになれば、家族の負担も軽減されるでしょう。ジョンの願いは、スタッフが人間しかやれないことに集中できるようにサポートすることであり── 

「AIが目覚ましい進歩を遂げているこの時代で、人間ならではの仕事をしよう。  」

アノテーションがお手軽に!適切なアウトソーシングで2割のコスト減

【データ処理の戦略的思考】 スマート交通について知っておきたい3つのデータ特徴