Project

General

Profile

Actions

発表 #1015

closed

第17回 講演3: Redmine全文検索の実際  〜1,000億文字を平均3秒以内に検索できる、サクサクなRedmine全文検索の作り方〜

Added by AKAHANE(赤羽根) Kuniharu(州晴) over 1 year ago. Updated over 1 year ago.

Status:
終了
Priority:
通常
Target version:
Due date:

Description

発表の希望時間: <40分>
発表内容の概要:
スライド投影:
<持参PCをHDMI接続します>

その他連絡事項:
<その他、希望や連絡があれば書いてください>

このチケットで担当者を「スタッフ」としてご希望をご連絡ください。
勉強会の前日までにタイトルを確定し、発表資料データをチケットに添付してください。
発表に関する調整や連絡はこのチケットのやり取りで行いたいと思います。
勉強会当日まで内容を公開したくない場合はプライベートチケットとして下さい。


勉強会Wikiに掲載する概要

Redmine4.0はRails5対応を始めとして数多くの機能の拡張と改善が行われたことでさらなる長期利用が可能となりました。長期利用によって多くの情報が蓄積されると、応答性能の低下や大切な情報が埋もれてしまい検索性が低下するといった懸念が表面化します。また、蓄積した情報のうち添付ファイルとリポジトリファイル(git/svn/他)は検索対象になっていないため、情報の活用度に改善の余地が残っていました。今回、 "株式会社クリアコード":https://www.clear-code.com/ と "株式会社島津製作所":https://www.shimadzu.com/ は "Groonga":https://www.groonga.org/ja/ を使ったRedmine全文検索システムのオープンソース開発を行い、添付ファイルやリポジトリの内容を検索する機能を新たに開発しました。テキストデータが333億文字の実運用環境(500ユーザー、34万チケット、添付ファイル35万、データ数375万)において、プロジェクト内検索で1秒以内、全データの横断検索も平均3秒以内で検索できる高速な全文検索システムを安定的に稼働をさせることができたことから、大量データかつ高負荷の業務用途に耐えうる仕上がりを確認できています。本発表では、オープンソースによるRedmine全文検索システムの仕組み、導入手順、1,000億文字の応答性能ベンチマーク等の性能計測データをご紹介し、導入判断の一つの材料としていただけるよう「Redmine全文検索の実際」の一事例を公表します。

Actions #1

Updated by 中村 浩平 over 1 year ago

  • Private changed from No to Yes

プライベートチケットに変更

Actions #2

Updated by 楠川 智久 over 1 year ago

  • Private changed from Yes to No
Actions #3

Updated by おがわ あきぴー over 1 year ago

  • Target version set to 第17回勉強会
Actions #4

Updated by おがわ あきぴー over 1 year ago

  • 勉強会Wikiに掲載する概要 updated (diff)
Actions #5

Updated by 内藤 淳 over 1 year ago

  • Subject changed from Redmine全文検索の機能拡張(仮) to 第17回 講演3: Redmine全文検索の機能拡張(仮)
Actions #6

Updated by おがわ あきぴー over 1 year ago

赤羽根さん、コンパスの講演者枠に参加申し込みして頂けますか。

また、須藤さんと2人で講演されますか?
スタッフとして、もちろん大歓迎です。

Actions #7

Updated by AKAHANE(赤羽根) Kuniharu(州晴) over 1 year ago

おがわ あきぴー さん、返信が遅くなってすみません。
コンパスの講演者枠に申し込みました。
発表者は調整中です(1~2名)。決まったらこちらにご連絡いたします。

Actions #8

Updated by おがわ あきぴー over 1 year ago

こちらでも確認しました。対応ありがとうございました。
相談の件のご回答はもう少しお待ち下さい。

AKAHANE Kuniharu(州晴) さんは書きました:

おがわ あきぴー さん、返信が遅くなってすみません。
コンパスの講演者枠に申し込みました。
発表者は調整中です(1~2名)。決まったらこちらにご連絡いたします。

Actions #9

Updated by 中村 浩平 over 1 year ago

  • Description updated (diff)

>赤羽根さん

講演時間の件、スタッフ会議で承認されました。
よろしくお願いします。

Actions #10

Updated by AKAHANE(赤羽根) Kuniharu(州晴) over 1 year ago

  • ご承認いただきありがとうございました。
    参加者の皆さんにとって良い内容となるよう努力いたします。
Actions #11

Updated by AKAHANE(赤羽根) Kuniharu(州晴) over 1 year ago

  • Subject changed from 第17回 講演3: Redmine全文検索の機能拡張(仮) to 第17回 講演3: Redmine全文検索の実際  〜1,000億文字を平均5秒以内に検索できる、サクサクなRedmine全文検索の作り方〜
  • Description updated (diff)
  • 勉強会Wikiに掲載する概要 updated (diff)
  • 社内稟議が可決決裁となりましたので、正式なタイトルと、掲載用の概要を改訂いたしました。
    お手数ですが内容のご確認と反映をお願い致します。
     
    (概要が長すぎる場合は、短い抄録を追記いたします)
Actions #12

Updated by AKAHANE(赤羽根) Kuniharu(州晴) over 1 year ago

  • Description updated (diff)
  • 勉強会Wikiに掲載する概要 updated (diff)
  • 発表概要のWikiへの反映は自動化なさっているのですね(すばらしい)。
    (URLのリンクを追記しました)
Actions #13

Updated by AKAHANE(赤羽根) Kuniharu(州晴) over 1 year ago

  • Subject changed from 第17回 講演3: Redmine全文検索の実際  〜1,000億文字を平均5秒以内に検索できる、サクサクなRedmine全文検索の作り方〜 to 第17回 講演3: Redmine全文検索の実際  〜1,000億文字を平均3秒以内に検索できる、サクサクなRedmine全文検索の作り方〜
  • 1000億文字ベンチマークの暫定値(5秒以内) → 最終確定値(3秒以内)をタイトルに反映しました。
Actions #14

Updated by AKAHANE(赤羽根) Kuniharu(州晴) over 1 year ago

直前になってしまいすみません。発表資料のURLです。
スライド https://akahane92.page.link/fts20191102
PDF https://akahane92.page.link/fts20191102pdf
よろしくお願いいたします。

Actions #15

Updated by AKAHANE(赤羽根) Kuniharu(州晴) over 1 year ago

  • 勉強会Wikiに掲載する概要 updated (diff)
楠川さんにご相談が一つあります。(お話したかった件です)
株式会社クリアコードの須藤功平さんよりお預かりしたビデオメッセージ(21分)のデータ置き場所についてです。
現在、個人の google drive に置いて公開しているのですが、もし Redmine.tokyo の YouTubeアカウントに収録して頂けたら助かります。
その方がより多くの方に見て頂く機会があるかなと思っているからです。

ご検討をよろしくお願いいたします。(ご無理のない範囲で)

Actions #16

Updated by 楠川 智久 over 1 year ago

赤羽根さん
承知しました。
取り急ぎ https://youtu.be/556_kQtzA-A にアップしました。
説明文がつけられますので、文を書いていただけたら更新します。

Actions #17

Updated by AKAHANE(赤羽根) Kuniharu(州晴) over 1 year ago

楠川さん

取り急ぎ https://youtu.be/556_kQtzA-A にアップしました。
説明文がつけられますので、文を書いていただけたら更新します。

お忙しくなさっているなか、早速ありがとうございます。助かりました。
映像の説明文は下記の内容でお願いいたします。

株式会社クリアコード 須藤功平
スライド https://slide.rabbit-shocker.org/authors/kou/redmine-tokyo-17/

【内容】Redmine検索技術の現状と未来像を解説しています。
・1,000億文字の横断検索を1秒以下にしたい
・Milkode のようなコードに特化した検索機能をRedmine検索に組み込みたい
・検索の高精度化(機械学習など)

お手数をおかけしてすみません。
どうぞよろしくお願いいたします。

Actions #18

Updated by 楠川 智久 over 1 year ago

須藤さんのYoutubeの説明文を更新しました。
他にもお気づきの事がありましたら都度ご連絡ください♪

Actions #19

Updated by AKAHANE(赤羽根) Kuniharu(州晴) over 1 year ago

  • Description updated (diff)

説明文、早速ありがとうございました!

Actions #20

Updated by AKAHANE(赤羽根) Kuniharu(州晴) over 1 year ago

  • Status changed from 新規 to 終了
  • 本件、大変お世話になり、どうもありがとうございました!
    資料アップロードなどの事後対応も終わりましたので、本チケットはクローズいたします。
    (私がCloseしても良かったのかな)
Actions

Also available in: Atom PDF