Lompat ke isi

Pengguna:Rtnf/Berita Teknis: Perbedaan antara revisi

Dari Wikipedia bahasa Indonesia, ensiklopedia bebas
Jelajahi riwayat secara interaktif
← Revisi sebelumnyaRevisi selanjutnya →
Konten dihapus Konten ditambahkan
VisualTeks wiki
Tidak ada ringkasan suntingan
Tidak ada ringkasan suntingan
Baris 1: Baris 1:
[https://meta.wikimedia.org/wiki/Tech/News Berita teknis] terkini dari komunitas teknis Wikimedia.
[https://meta.wikimedia.org/wiki/Tech/News Berita teknis] terkini dari komunitas teknis Wikimedia.
==2023 - 18 ==
* Ekspor video dari URL ke Wikimedia Commons dengan tool [https://video2commons.toolforge.org video2commons]
==2023==
=== Maintenance pada Modul Graph ===
<graph>{"legends":[],"scales":[{"type":"time","name":"x","domain":{"data":"chart","field":"x"},"range":"width","zero":false},{"type":"linear","name":"y","domain":{"data":"chart","field":"y"},"zero":false,"range":"height","nice":true},{"domain":{"data":"chart","field":"series"},"type":"ordinal","name":"color","range":"category10"}],"version":2,"marks":[{"type":"line","properties":{"hover":{"stroke":{"value":"red"}},"update":{"stroke":{"scale":"color","field":"series"}},"enter":{"y":{"scale":"y","field":"y"},"x":{"scale":"x","field":"x"},"stroke":{"scale":"color","field":"series"},"strokeWidth":{"value":2.5}}},"from":{"data":"chart"}}],"height":100,"axes":[{"type":"x","title":"Date","scale":"x","properties":{"title":{"fill":{"value":"#54595d"}},"grid":{"stroke":{"value":"#54595d"}},"ticks":{"stroke":{"value":"#54595d"}},"axis":{"strokeWidth":{"value":2},"stroke":{"value":"#54595d"}},"labels":{"align":{"value":"right"},"angle":{"value":-45},"fill":{"value":"#54595d"}}},"grid":false},{"type":"y","title":"Unique visitors per day","scale":"y","format":"d","properties":{"title":{"fill":{"value":"#54595d"}},"grid":{"stroke":{"value":"#54595d"}},"ticks":{"stroke":{"value":"#54595d"}},"axis":{"strokeWidth":{"value":2},"stroke":{"value":"#54595d"}},"labels":{"fill":{"value":"#54595d"}}},"grid":false}],"data":[{"format":{"parse":{"y":"integer","x":"date"},"type":"json"},"name":"chart","values":[{"y":1500,"series":"y","x":"Jul 2016"},{"y":4500,"series":"y","x":"Jul 2017"},{"y":8000,"series":"y","x":"Jul 2018"},{"y":38000,"series":"y","x":"Jul 2019"},{"y":45000,"series":"y","x":"Dec 2019"},{"y":82000,"series":"y","x":"Jul 2020"},{"y":120000,"series":"y","x":"Dec 2020"},{"y":145000,"series":"y","x":"Oct 2021"},{"y":170000,"series":"y","x":"May 2022"},{"y":190000,"series":"y","x":"March 2023"}]}],"width":400}</graph>


* [[../Berita Teknis/2022|Arsip 2022]]
==2022-26==
Pada tahun 2018, Wikidata mengembangkan fitur [https://www.wikidata.org/wiki/Wikidata:Lexicographical_data "Wikidata Lexicographical Data"], sebuah proyek untuk membuat database data terstruktur mengenai kata dalam bahasa tertentu. Hingga saat ini,proyek ini sudah berhasil mengumpulkan [https://www.wikidata.org/wiki/Wikidata:Lexicographical_data/Statistics/Counts_of_various_things_by_language 661 ribu leksem] dari 846 bahasa di dunia.


== Tech News: 2023-27 ==
Agar data ini dapat lebih bermanfaat, Wikidata meluncurkan fitur pengaksesan Wikidata Lexicographical Data di seluruh proyek wiki Wikimedia menggunakan modul Lua. Setelah melakukan pengujian di beberapa Wiktionary, fitur ini akhirnya [https://www.wikidata.org/wiki/Wikidata:Wiktionary#lua dirilis] ke seluruh proyek Wikimedia pada 21 Juni 2022. Dokumentasi fungsi Lua untuk mengakses fitur ini dapat dilihat di sini :
=== Blocked External Domains ===
[[File:Special BlockedExternalDomains admin view.png|thumb|Special BlockedExternalDomains admin view]]


Fitur baru untuk memblokir link eksternal tertentu di Wikipedia telah dirilis. Detil fitur ini bisa dibaca di [https://phabricator.wikimedia.org/T337431 Phabricator] dan [https://www.mediawiki.org/wiki/Manual:BlockedExternalDomains halaman dokumentasi di Mediawiki.org]
# [https://doc.wikimedia.org/WikibaseLexeme/master/php/md_docs_topics_lua.html Dokumentasi fungsi Lua]
# [https://en.wiktionary.beta.wmflabs.org/wiki/Module:Wdl-en-noun Test module]
# [https://en.wiktionary.beta.wmflabs.org/wiki/Template:Wdl-en-noun Test template]
# [https://en.wiktionary.beta.wmflabs.org/wiki/cat Test render]
# [https://bn.wiktionary.org/wiki/%E0%A6%AE%E0%A6%A1%E0%A6%BF%E0%A6%89%E0%A6%B2:%E0%A6%AC%E0%A6%BE%E0%A6%82%E0%A6%B2%E0%A6%BE_%E0%A6%86%E0%A6%AD%E0%A6%BF%E0%A6%A7%E0%A6%BE%E0%A6%A8%E0%A6%BF%E0%A6%95_%E0%A6%89%E0%A6%AA%E0%A6%BE%E0%A6%A4%E0%A7%8D%E0%A6%A4 Test module (Bengali Wiktionary)]
# [https://id.wiktionary.org/wiki/Pengguna:Rtnf/Indonesian_Wiktionary_-_Wikidata_Lexeme_Integration Test module (Wiktionary Indonesia)]


=== Aktivasi Fitur ===
=== Special:LinkSearch ===
Kini, fitur [https://wiki-indonesia.club/wiki/Istimewa:Pranala_luar?target=tirto.id Special:LinkSearch] sudah dapat mencari keseluruhan URL. Sebelumnya, karena ada [https://phabricator.wikimedia.org/T17218 sebuah bug], fitur ini hanya bisa mencari 60 karakter pertama dari URL yang dimasukkan sebagai kata kunci.
Pada <code>wmf-config/InitialiseSettings.php</code>, [https://gerrit.wikimedia.org/r/c/operations/mediawiki-config/+/806877/2/wmf-config/InitialiseSettings.php ubah]
<pre>
'wgLexemeEnableDataTransclusion' => [
'default => false,
'wikidatawiki' => true,
'bnwiktionary' => true,
'euwiktionary' => true,
],


=== Global AbuseFilter ===
'wmgWikibaseDisabledAccessEntityTypes' => [
[https://meta.wikimedia.org/wiki/Global_AbuseFilter Global AbuseFilter] telah diaktifkan secara global, kecuali [https://en.wiki-indonesia.club/wiki/Wikipedia:Edit_filter_noticeboard/Archive_11#Global_abuse_filters_applying_here Wikipedia Bahasa Inggris] dan [https://ja.wiki-indonesia.club/wiki/Special:Permalink/94942203#%E3%82%B0%E3%83%AD%E3%83%BC%E3%83%90%E3%83%AB%E3%83%95%E3%82%A3%E3%83%AB%E3%82%BF%E3%83%BC Wikipedia Bahasa Jepang]. Fitur ini bertujuan untuk [https://meta.wikimedia.org/wiki/Requests_for_comment/Make_global_abuse_filters_opt-out melawan para LTA] yang biasa melakukan ''cross-wiki vandalism''.
'default' => ['lexeme','form','sense'],

'bnwiktionary' => [],
=== ChatGPT Plugin ===
]
Tim Wikimedia sedang mengembangkan [https://meta.wikimedia.org/wiki/Wikimedia_Foundation_Annual_Plan/2023-2024/Draft/Future_Audiences#FA2.2_Conversational_AI Wikipedia ChatGPT Plugin]. Plugin ini kini sedang memasuki tahap [https://meta.wikimedia.org/wiki/Talk:Wikimedia_Foundation_Annual_Plan/2023-2024/Draft/Future_Audiences#Call_for_taking_a_look_at/testing_the_in-progress_Wikipedia_ChatGPT_plugin beta-testing].
</pre>

menjadi
{{Cquote|To be able to test out the plugin without a ChatGPT Plus subscription, please send an email to futureaudiences{{@}}wikimedia.org that includes the email address associated with your OpenAI account. I'll send back some further instructions on how you can enable the plugin and where to leave testing feedback. Thank you!!!||| MPinchuk (WMF)<ref>https://meta.wikimedia.org/w/index.php?title=Talk:Wikimedia_Foundation_Annual_Plan/2023-2024/Draft/Future_Audiences&diff=prev&oldid=25224045</ref> }}

== Tech News: 2023-27 ==
=== Audio links that play on click ===
{{Cquote|For referencing audio files inline, such as pronounciation demonstrations, wikis have relied on linking to the raw file using <code>[[Media:..]]</code>. But not all browsers support playing the linked file, causing them to download the file instead of playing it. And even the browsers supports it, this is not user-friendly as it suddenly sends them to a different page with nothing but a player on it.|||Nardog (January 21, 2022) [https://meta.wikimedia.org/wiki/Community_Wishlist_Survey_2022/Multimedia_and_Commons/Audio_links_that_play_on_click Audio links that play on click] Community Wishlish Survey 2022}}

{{Cquote|As part of the rolling out of the audio links that play on click wishlist proposal, small wikis will now be able to use the [https://www.mediawiki.org/wiki/Special:MyLanguage/Help:Extension:Phonos#Inline_audio_player_mode inline audio player] that is implemented by the Phonos extension.||| Tech News 2023-27}}

Fitur baru : Tag untuk menampilkan audio player contoh cara pengucapan. Namun, fitur ini baru tersedia di grup "small wiki" saja (lihat daftar wiki yang termasuk di [https://noc.wikimedia.org/conf/highlight.php?file=dblists/small.dblist sini]).

Salah satu Wiki Indonesia yang termasuk pada small wiki adalah Wikiquotes. Mari kita coba di sana.

Template :
<pre>
<pre>
<phonos ipa="nʲihóɴ" file="Ja-nihon(日本).ogg" />
'wgLexemeEnableDataTransclusion' => [
'default => true
],
'wmgWikibaseDisabledAccessEntityTypes' => [
'default' => [],
]
</pre>
</pre>


Lihat hasilnya [https://id.wikiquote.org/wiki/Pengguna:Rtnf di sini]
Dengan mengubah kode ini, fitur akses Wikidata Lexeme akan diaktifkan ke seluruh wiki, tidak hanya pada wiki-test tertentu (bnwiktionary - Bengali, euwiktionary - Basque)

===Test===
=== MediaWiki 1.41/wmf.16 ===
Source code :
[https://www.mediawiki.org/wiki/MediaWiki_1.41/wmf.16 MediaWiki 1.41/wmf.16] akan segera diinstall di seluruh Wiki pada tanggal 6 Juli 2023

== Tech News: 2023-26 ==
=== MediaWiki Link Database ===
{{Cquote |MediaWiki's link database tables are among the largest tables of any WMF production database. It's one of the biggest tables for Commons, at 200GB, and will cause more issues in the future.||| Ladsgroup (July 9, 2022} [https://phabricator.wikimedia.org/T312666 Remove duplication in externallinks table] phabricator.wikimedia.org }}
Setiap link eksternal yang ada di Wikipedia disimpan di dalam database terpusat. Akibatnya, ukuran database ini terus membesar, hingga berpotensi membebani keseluruhan server Wikipedia.

Solusi yang mereka usulkan adalah memecah database link menjadi dua, yaitu database domain dan database path.

Sebagai contoh, database yang awalnya seperti ini :
<pre>
<pre>
DB_LINK_EKSTERNAL :
{{Wl|L479448}}
1 : a.com/b
2 : a.com/d
3 : a.com/e
4 : b.com/f
5 : b.com/g
</pre>
</pre>
Render :
{{Wl|L479448}}

==2022-25==
[https://phabricator.wikimedia.org/p/Ladsgroup/ Amir Sarabadani] (Database Architect - SRE Data Persistence Team WMF) melakukan sedikit modifikasi di database utama Wikimedia. Intinya, tabel "site_stats" di database pusat Wikimedia memiliki traffic write yang sangat besar, terutama akibat mengupdate data edit count di wiki-wiki aktif (seperti commons, wikidata, enwiki). Solusinya? [https://phabricator.wikimedia.org/T306589 Sharding] . Datanya jangan disimpan di dalam satu baris. Pecah datanya menjadi 10 baris. Setiap kali ada update, pilih salah satu baris secara acak, lalu update baris tersebut.


Akan dipecah menjadi seperti ini :
Jika ingin mengecek data statistik, cukup jumlahkan baris baris tersebut.
<pre>
<pre>
DB_DOMAIN_EKSTERNAL :
SELECT SUM(ss_total_edits) FROM site_stats;
1 : a.com/
2 : b.com/

DB_PATH_EKSTERNAL :
1 : 1 : b
2 : 1 : d
3 : 1 : e
4 : 2 : f
5 : 2 : g
</pre>
</pre>


Pemecahan ini dapat menghemat cukup banyak disk-space, karena string domain yang sama tidak perlu disimpan berulang-ulang di dalam database.
==2022-24==
Akhirnya, Kartographer bisa digunakan untuk seluruh Wiki. Kartographer berfungsi untuk menampilkan peta OSM di dalam Wikipages. Kartographer dibuat oleh [https://en.wiki-indonesia.club/wiki/User:Yurik Yuri Astrakhan] menggunakan Leaflet.js dan [https://techblog.wikimedia.org/2022/05/06/modernizing-our-tech-stack-for-serving-maps-at-wikipedia/ Kartotherian] (OSM map-tile server berbasis Mapbox).
===Panduan Instalasi Kartographer===
Bagi yang ingin menginstal Kartographer pada MediaWiki lokalnya masing-masing, silahkan ikuti panduan berikut :
# Pastikan sudah menginstal MediaWiki 1.36+, PHP 7.2+ dan ekstensi JsonConfig
# Download Kartographer, copy isi filenya ke direktori extensions/kartographer
# {{code|composer install --no-dev}} dalam direktori extensions
# Tambahkan {{code|wfLoadExtension('Kartographer');}} di baris terakhir file LocalSettings.php
# Cek Special:Version untuk memverifikasi instalasi
===Panduan GeoJSON Kartographer===
{| class="wikitable"
|+ Kartographer Tutorial
|-
! Source Code !! Render
|-
| <pre><mapframe text="Karena Kartographer sudah bisa digunakan, sekarang kita bisa membuat built-in map di Wikipedia seperti ini." width="350" height="350" zoom="13" longitude="107.00497398632191" latitude="-6.248083228272527">
{
"type":"FeatureCollection",
"features":[
{
"type":"Feature",
"geometry":{
"type":"Point",
"coordinates":[
106.98885961346001,
-6.2502862398664085


Efek samping dari perubahan ini adalah : setiap URL domain di Wikipedia harus ditambahkan "/" di bagian ujungnya, agar mudah digabungkan dengan URL pathnya. Jadi, misalkan ada orang yang menambahkan url <code>abc.com</code>, server Wikipedia harus mengubahnya menjadi <code>abc.com/</code>.


Itulah inti permasalahan dari berita Tech News : 2023-26 yang pertama :
]
},
"properties":{
"title":"Tol Bekasi Barat",
"marker-color":"420617",
"marker-symbol":"-letter-see",
"marker-size":"medium"
}
},


{{Cquote|The Action API modules and Special:LinkSearch will now add a trailing forward slash to all prop:extlinks responses for bare domains. This is part of the work to remove duplication in the externallinks database table.|||Tech News}}


{{Cquote|API query prop:extlinks adds a trailing forward slash to returned results. ||| Fastily (June 2, 2023) [https://phabricator.wikimedia.org/T337994 phabricator.wikimedia.org]}}
{
"type":"Feature",
"geometry":{
"type":"Point",
"coordinates":[
107.01688040686685,
-6.261654540025189


=== Search was broken on Commons and Wikidata for 23 hours ===
{{Cquote|Optimize the elasticsearch analysis settings for wikibase


The analysis settings for wikibase may create a set of analyzers prefixed per language. Currently, it generates 1200+ analyzers and most of them are identical. It might perhaps make sense to quickly evaluate the perf gain of reducing the number of analyzers created on wikibase.||| dcausse (April 6, 2023) [https://phabricator.wikimedia.org/T334194 Optimize the elasticsearch analysis settings for wikibase] phabricator.wikimedia.org }}
]
},
"properties":{
"title":"Tol Bekasi Timur",
"marker-color":"508e33",
"marker-symbol":"-letter-see",
"marker-size":"medium"
}
},


Elasticsearch merupakan software untuk memproses pencarian teks. Wikipedia (dan berbagai sister-project lainnya di Wikimedia) menggunakan Elasticsearch untuk menyediakan fitur pencarian.


Agar pencarian teksnya lebih optimal, Elasticsearch membuat modul "analyzer" untuk setiap bahasa. Sebagai contoh, ada analyzer khusus untuk Bahasa Inggris, dan ada juga analyzer untuk Bahasa Indonesia.
{
"type":"Feature",
"geometry":{
"type":"Point",
"coordinates":[
107.01840753736047,
-6.246943771391064


{{Cquote| A set of analyzers aimed at analyzing specific language text. The following types are supported : arabic, armenian, basque, bengali, brazilian, bulgarian, catalan, cjk, czech, danish, dutch, english, estonian, finnish, french, galician, german, greek, hindi, hungarian, indonesian, irish, italian, latvian, lithuanian, norwegian, persian, portuguese, romanian, russian, sorani, spanish, swedish, turkish, thai. ||| Elastic (2023) [https://www.elastic.co/guide/en/elasticsearch/reference/current/analysis-lang-analyzer.html Language analyzers] }}


Wikibase (sebuah platform software dibalik Wikidata dan Wikimedia Commons) mempunyai karakteristik yang sangat unik. Berbeda dengan MediaWiki yang hanya mendukung satu bahasa untuk setiap situs, Wikibase memiliki fitur multibahasa. Akibatnya, sebuah instalasi Wikibase bisa membutuhkan banyak sekali analyzer Elasticsearch. Sedemikian banyak sehingga membebani seisi servernya.
]
},
"properties":{
"title":"Stasiun Bekasi Timur",
"marker-color":"0d2751",
"marker-symbol":"-number-see",
"marker-size":"medium"
}
},


{{Cquote|Analyzers are language specific text processing components that improve the matching between user queries and content.
{
"type":"Feature",
"geometry":{
"type":"Point",
"coordinates":[
106.9995859508269,
-6.236849708692939


Each elasticsearch index has some amount of configuration that defines it. On a typical wiki, for example eswiktionary, this configuration is ~8kb. But for a wikidata index, which contains the text processing configuration of all possible languages, this configuration is 450kb and probably outside the normal operating expectations of elasticsearch.


We talked recently with someone at our office hours who has running hundreds of wikibase instances into a single elasticsearch cluster. Unfortunately, their elasticsearch cluster became unresponsive, failed master elections, and generally became unusable. After some light review of stack taces and logs, this is due to it taking 10s of minutes for the master to load the cluster state, which includes the configuration of those hundreds of wikibase indices.
]
},
"properties":{
"title":"Stasiun Bekasi",
"marker-color":"61b9e2",
"marker-symbol":"-number-see",
"marker-size":"medium"
}
}
]
}
</mapframe></pre> || <mapframe text="Karena Kartographer sudah bisa digunakan, sekarang kita bisa membuat built-in map di Wikipedia seperti ini." width="350" height="350" zoom="13" longitude="107.00497398632191" latitude="-6.248083228272527">
{
"type":"FeatureCollection",
"features":[
{
"type":"Feature",
"geometry":{
"type":"Point",
"coordinates":[
106.98885961346001,
-6.2502862398664085


One theory to investigate in this ticket is if we could improve the time it takes to load the wikibase search index configuration by clearing out duplications between languages, and by proxy reduce the size of elasticsearch cluster state created by each wikibase instance.||| EBernhardson (May 5, 2023) [https://phabricator.wikimedia.org/T334194 Optimize the elasticsearch analysis settings for wikibase] phabricator.wikimedia.org }}


Tim Developer Wikimedia akhirnya memutuskan untuk menghapus analyzer-analyzer itu untuk mengurangi beban pada server Wikidata + Commons. Namun sayangnya, penghapusan paksa terhadap analyzer-analyzer ini mengakibatkan kerusakan parah pada fitur pencarian di Wikidata dan Commons.
]
},
"properties":{
"title":"Tol Bekasi Barat",
"marker-color":"420617",
"marker-symbol":"-letter-see",
"marker-size":"medium"
}
},


{{Cquote|A reindex of the elasticsearch indices for wikibase enabled wikis (wikidata and commons) was scheduled.


Reindexing is a routine task the search teams uses to enable new settings at the index level, generally to tune of language-specific search configurations are processed. For this task, the reason of reindexing was to optimize the number of analyzers created on these wikis by de-duplicating them (about 300+ languages).
{
"type":"Feature",
"geometry":{
"type":"Point",
"coordinates":[
107.01688040686685,
-6.261654540025189


De-duplicating analyzers means any code referring to a particular analyzer might now possibily reference one that was de-duplicated (and thus non-existent). The search team analyzed such cases and found nothing problematic, after scanning the code-base.


However, this was untrue. After the wikidata reindex was done, and right after the new index was promoted to production, queries started to fail.
]
},
"properties":{
"title":"Tol Bekasi Timur",
"marker-color":"508e33",
"marker-symbol":"-letter-see",
"marker-size":"medium"
}
},


The reason is that the "token_count_router" query was still referencing the "text_search" analyzer directly, which was now nonexistent because of the de-duplication. The "token_count_router" is a feature that counts the number of token in a query to prevent the running of costly phrase queres that contains too many tokens.


There are several alternative mitigations that were evaluated.
{
"type":"Feature",
"geometry":{
"type":"Point",
"coordinates":[
107.01840753736047,
-6.246943771391064


First, disabling the "token_count_router" could have fixed the immediate problem, but could have put the whole cluster under the risk of being overloaded by such pathological queries.


Second, reverting the initial feature was not possible since it requires a full re-index of the wiki. It's a long procedure that could take 10+ hours.
]
},
"properties":{
"title":"Stasiun Bekasi Timur",
"marker-color":"0d2751",
"marker-symbol":"-number-see",
"marker-size":"medium"
}
},


Third, adding the "text_search" analyzer manually on wikidata and common indices could have fixed the issue. But it required the closing of the index, which is a heavy maintenance task.
{
"type":"Feature",
"geometry":{
"type":"Point",
"coordinates":[
106.9995859508269,
-6.236849708692939


Fourth, fix the "token_count_router" to not reference the "text_search" analyzer directly as an one liner fix. This approach was preferred.||| David Causse, Antoine Musso (June 19, 2023) [https://wikitech.wikimedia.org/wiki/Incidents/2023-06-18_search_broken_on_wikidata_and_commons Incidents 2023-06-18 : search broken on wikidata and commons] wikitech.wikimedia.org}}


Ada kode program yang masih membutuhkan analyzer tersebut agar bisa tetap berfungsi. Karena analyzernya sudah terlanjur dihapus, kode program itu menyebabkan kerusakan pada seluruh fitur pencarian.
]
},
"properties":{
"title":"Stasiun Bekasi",
"marker-color":"61b9e2",
"marker-symbol":"-number-see",
"marker-size":"medium"
}
}
]
}
</mapframe>
|-
| <pre><mapframe text="Jalan M. H. Thamrin, Jakarta" width="350" height="350" zoom="14" longitude="106.823180" latitude="-6.188118">
{
"type": "Feature",
"geometry": { "type": "LineString", "coordinates":
[
[106.823070,-6.194578],
[106.8228674,-6.1810369]
]},
}
</mapframe></pre> || <mapframe text="Jalan M. H. Thamrin, Jakarta" width="350" height="350" zoom="14" longitude="106.823180" latitude="-6.188118">
{
"type": "Feature",
"geometry": { "type": "LineString", "coordinates":
[
[106.823070,-6.194578],
[106.8228674,-6.1810369]
]},
}
</mapframe>
|}


==2022-19==
===Wikidata search autocomplete : rusak===
Wikidata search autocomplete sempat [https://phabricator.wikimedia.org/T307586 rusak] pada 4 Mei 2022. Solusi jangka pendek : Downgrade php-1.39.0-wmf.10 jadi [https://gerrit.wikimedia.org/r/c/operations/mediawiki-config/+/789160/1/wikiversions.json php-1.39.0-wmf.9]. Solusi lanjutan : Di file [https://gerrit.wikimedia.org/r/c/mediawiki/extensions/WikibaseCirrusSearch/+/789227/1/src/WikibasePrefixSearcher.php#b49 WikibasePrefixSearcher.php], di fungsi buildSearch() ubah
<pre>
<pre>
All shards failed for phase: [query]
$pageType = $this->connection->getPageType( $this->indexBaseName, $indexType );
[Unknown analyzer [text_search]]; nested: IllegalArgumentException[Unknown analyzer [text_search]];
...
Caused by: java.lang.IllegalArgumentException: Unknown analyzer [text_search]
return $pageType->createSearch( $searchQuery, $queryOptions );
</pre>
</pre>

Menjadi
Untuk menyelesaikan masalah ini, mereka memutuskan untuk memutus hubungan kode program tersebut dengan analyzer yang sudah dihapus.<ref>https://gerrit.wikimedia.org/r/c/mediawiki/extensions/WikibaseCirrusSearch/+/930930/</ref>

Dari yang awalnya seperti ini (EntityFullTextQueryBuilder.php) :
<pre>
<pre>
$tokCount = new TokenCountRouter($query_text,new MatchNone(),null,'text_search');
$index = $this->connection->getPageType( $this->indexBaseName, $indexType )->getIndex();
...
return $index->createSearch( $searchQuery, $queryOptions );
</pre>
</pre>


Menjadi seperti ini :
====Kontributor====
<pre>
# [https://www.mediawiki.org/wiki/User:Lucas_Werkmeister_(WMDE) Lucas Werkmeister], Wikidata/Wikimedia Deutschland : Pelapor
$tokCount = new TokenCountRouter($query_text,new MatchNone(),"text");
# [https://meta.wikimedia.org/wiki/Amusso_(WMF) Antoine Musso], Wikimedia Foundation : Downgrade
</pre>
# [https://wikimediafoundation.org/profile/erik-bernhardson/ Erik Bernhardson], Staff Software Engineer, Search Platform, Wikimedia Foundation : WikibasePrefixSearcher

Dari yang awalnya seperti ini (phraseRescore.expected) :
<pre>
"token_count_router" : { "analyzer" : "text_search" }
</pre>

Menjadi seperti ini :
<pre>
"token_count_router" : { "field" : "text" }
</pre>

Terlihat bahwa analyzer "text_search" telah dihapus dari kode program.

====Kronologi kejadian====
Jumat, 16 Juni :
* 21:40 Proses re-indexing dimulai

Sabtu, 17 Juni :
* 11:30 Fitur pencarian di Wikidata dan Wikimedia Commons rusak
* 22:07 Snowmanonahoe melaporkan kerusakan ini kepada tim developer melalui Phabricator

Minggu, 18 Juni :
* 05:39 Legoktm mengirim chat di channel IRC #mediawiki_security, "fitur pencarian di Wikidata dan Commons rusak?"
* 06:37 Hashar tidak sengaja melihat pesan itu di IRC, langsung melakukan investigasi
* 07:00 Hashar menghubungi anggota The Search Team (tim di Wikimedia yang bertugas untuk menyediakan fitur pencarian) di Eropa : Gehel dan dcausse
* 08:00 Dcausse berpendapat bahwa pembatalan proses re-indexing tidak dapat dilakukan, karena proses re-indexing ulang membutuhkan waktu yang sangat lama. Perlu dicari alternatif solusi lain
* 08:15 Alternatif solusi lain ditemukan : memutus hubungan ke analyzer yang sudah dihapus
* 09:20 Hashar dan Dcausse mengadakan panggilan video untuk bekerjasama menyelesaikan masalah ini
* 09:29 Alternatif solusi sedang diujicoba di server mwdebug1001.
* 10:02 Kerusakan fitur pencarian akhirnya berhasil diperbaiki.

=== Parsoid ===
{{Cquote|Parsoid started in 2012 as a project to support Visual Editing.||| Subbu Sastry (February 27, 2019) [https://www.mediawiki.org/wiki/Wikimedia_Technical_Talks The long and winding road to making Parsoid the default MediaWiki parser]}}

{{Cquote|Mission since 2016

Advance wikitext as a language. Easier to write, faster to parse, less error prone. Make wikitext content easier to analyze. Expose wikitext semantics in well-specified output.||| Subbu Sastry (February 27, 2019) [https://www.mediawiki.org/wiki/Wikimedia_Technical_Talks The long and winding road to making Parsoid the default MediaWiki parser]}}

{{Cquote|Parsoid is a library that allows for converting back and forth between MediaWiki's wikitext syntax and an equivalent HTML/RDFa document model. Parsoid is intended to provide flawless back-and-forth conversions, to avoid information loss and also prevent "dirty diffs".

The original application was written in Node.js and started running on the Wikimedia cluster in December 2012. In 2019, Parsoid was ported to PHP, and this PHP version replaced the Node.js version on the Wikimedia cluster in December 2019. Parsoid is being integrated into core MediaWiki, with the goal of eventually replacing MediaWiki's current native parser.

Currently, we have two separate wikitext parsers that are used in MediaWiki on the Wikimedia cluster. One is the original core parser (legacy parser) and the other is Parsoid.

At present, the core parser is used for all desktop and mobile web read views. Meanwhile, Parsoid is currently used to serve all editing clients (VisualEditor, Structured Discussions, Content Translation), linting tools (Extension:Linter), some gagdets, mobile apps, Kiwix offline reader, Wikimedia Enterprise and the Google knowledge graph project.|||Content Transform Team (2011) [https://www.mediawiki.org/wiki/Parsoid Parsoid]}}

Parsoid adalah software (baru) yang digunakan oleh Wikimedia untuk mengonversi wikitext menjadi dokumen HTML yang bisa dibuka oleh browser. Sebelumnya, Wikimedia menggunakan "Mediawiki Native Parser" untuk mengonversi wikitext.

Mereka sedang merencanakan untuk mengganti Native Parser (yang lama) dengan Parsoid (yang baru).

Efek sampingnya, banyak site-CSS, userscripts dan gagdets -- yang menggunakan aturan Native Parser lama -- bisa rusak, karena penggantian komponen software ini.

Oleh karena itu, tim [https://www.mediawiki.org/wiki/Content_Transform_Team Wikimedia Content Transform] menyarankan Anda untuk memodifikasi site-CSS / userscript / gagdet agar mengikuti [https://www.mediawiki.org/wiki/Parsoid/Parser_Unification/Media_structure/FAQ aturan Parsoid yang baru].

=== MediaWiki 1.41/wmf.15 ===
Sejak 29 Juni 2023, seluruh wiki di Wikimedia telah diupgrade ke [https://www.mediawiki.org/wiki/MediaWiki_1.41/wmf.15 MediaWiki 1.41/wmf.15].

==2023 - 18 ==
* Ekspor video dari URL ke Wikimedia Commons dengan tool [https://video2commons.toolforge.org video2commons]
==2023==
=== Maintenance pada Modul Graph ===
<graph>{"legends":[],"scales":[{"type":"time","name":"x","domain":{"data":"chart","field":"x"},"range":"width","zero":false},{"type":"linear","name":"y","domain":{"data":"chart","field":"y"},"zero":false,"range":"height","nice":true},{"domain":{"data":"chart","field":"series"},"type":"ordinal","name":"color","range":"category10"}],"version":2,"marks":[{"type":"line","properties":{"hover":{"stroke":{"value":"red"}},"update":{"stroke":{"scale":"color","field":"series"}},"enter":{"y":{"scale":"y","field":"y"},"x":{"scale":"x","field":"x"},"stroke":{"scale":"color","field":"series"},"strokeWidth":{"value":2.5}}},"from":{"data":"chart"}}],"height":100,"axes":[{"type":"x","title":"Date","scale":"x","properties":{"title":{"fill":{"value":"#54595d"}},"grid":{"stroke":{"value":"#54595d"}},"ticks":{"stroke":{"value":"#54595d"}},"axis":{"strokeWidth":{"value":2},"stroke":{"value":"#54595d"}},"labels":{"align":{"value":"right"},"angle":{"value":-45},"fill":{"value":"#54595d"}}},"grid":false},{"type":"y","title":"Unique visitors per day","scale":"y","format":"d","properties":{"title":{"fill":{"value":"#54595d"}},"grid":{"stroke":{"value":"#54595d"}},"ticks":{"stroke":{"value":"#54595d"}},"axis":{"strokeWidth":{"value":2},"stroke":{"value":"#54595d"}},"labels":{"fill":{"value":"#54595d"}}},"grid":false}],"data":[{"format":{"parse":{"y":"integer","x":"date"},"type":"json"},"name":"chart","values":[{"y":1500,"series":"y","x":"Jul 2016"},{"y":4500,"series":"y","x":"Jul 2017"},{"y":8000,"series":"y","x":"Jul 2018"},{"y":38000,"series":"y","x":"Jul 2019"},{"y":45000,"series":"y","x":"Dec 2019"},{"y":82000,"series":"y","x":"Jul 2020"},{"y":120000,"series":"y","x":"Dec 2020"},{"y":145000,"series":"y","x":"Oct 2021"},{"y":170000,"series":"y","x":"May 2022"},{"y":190000,"series":"y","x":"March 2023"}]}],"width":400}</graph>


== Referensi ==

Revisi per 11 Juli 2023 06.32

Berita teknis terkini dari komunitas teknis Wikimedia.

Tech News: 2023-27

Blocked External Domains

Special BlockedExternalDomains admin view

Fitur baru untuk memblokir link eksternal tertentu di Wikipedia telah dirilis. Detil fitur ini bisa dibaca di Phabricator dan halaman dokumentasi di Mediawiki.org

Special:LinkSearch

Kini, fitur Special:LinkSearch sudah dapat mencari keseluruhan URL. Sebelumnya, karena ada sebuah bug, fitur ini hanya bisa mencari 60 karakter pertama dari URL yang dimasukkan sebagai kata kunci.

Global AbuseFilter

Global AbuseFilter telah diaktifkan secara global, kecuali Wikipedia Bahasa Inggris dan Wikipedia Bahasa Jepang. Fitur ini bertujuan untuk melawan para LTA yang biasa melakukan cross-wiki vandalism.

ChatGPT Plugin

Tim Wikimedia sedang mengembangkan Wikipedia ChatGPT Plugin. Plugin ini kini sedang memasuki tahap beta-testing.

Tech News: 2023-27

Fitur baru : Tag untuk menampilkan audio player contoh cara pengucapan. Namun, fitur ini baru tersedia di grup "small wiki" saja (lihat daftar wiki yang termasuk di sini).

Salah satu Wiki Indonesia yang termasuk pada small wiki adalah Wikiquotes. Mari kita coba di sana.

Template : 

<phonos ipa="nʲihóɴ" file="Ja-nihon(日本).ogg" />

Lihat hasilnya di sini

MediaWiki 1.41/wmf.16

MediaWiki 1.41/wmf.16 akan segera diinstall di seluruh Wiki pada tanggal 6 Juli 2023

Tech News: 2023-26

Setiap link eksternal yang ada di Wikipedia disimpan di dalam database terpusat. Akibatnya, ukuran database ini terus membesar, hingga berpotensi membebani keseluruhan server Wikipedia.

Solusi yang mereka usulkan adalah memecah database link menjadi dua, yaitu database domain dan database path.

Sebagai contoh, database yang awalnya seperti ini : 

DB_LINK_EKSTERNAL : 
1 : a.com/b
2 : a.com/d
3 : a.com/e
4 : b.com/f
5 : b.com/g

Akan dipecah menjadi seperti ini : 

DB_DOMAIN_EKSTERNAL : 
1 : a.com/
2 : b.com/

DB_PATH_EKSTERNAL : 
1 : 1 : b
2 : 1 : d
3 : 1 : e
4 : 2 : f
5 : 2 : g

Pemecahan ini dapat menghemat cukup banyak disk-space, karena string domain yang sama tidak perlu disimpan berulang-ulang di dalam database.

Efek samping dari perubahan ini adalah : setiap URL domain di Wikipedia harus ditambahkan "/" di bagian ujungnya, agar mudah digabungkan dengan URL pathnya. Jadi, misalkan ada orang yang menambahkan url abc.com, server Wikipedia harus mengubahnya menjadi abc.com/.

Itulah inti permasalahan dari berita Tech News : 2023-26 yang pertama  :

Search was broken on Commons and Wikidata for 23 hours

Elasticsearch merupakan software untuk memproses pencarian teks. Wikipedia (dan berbagai sister-project lainnya di Wikimedia) menggunakan Elasticsearch untuk menyediakan fitur pencarian.

Agar pencarian teksnya lebih optimal, Elasticsearch membuat modul "analyzer" untuk setiap bahasa. Sebagai contoh, ada analyzer khusus untuk Bahasa Inggris, dan ada juga analyzer untuk Bahasa Indonesia.

Wikibase (sebuah platform software dibalik Wikidata dan Wikimedia Commons) mempunyai karakteristik yang sangat unik. Berbeda dengan MediaWiki yang hanya mendukung satu bahasa untuk setiap situs, Wikibase memiliki fitur multibahasa. Akibatnya, sebuah instalasi Wikibase bisa membutuhkan banyak sekali analyzer Elasticsearch. Sedemikian banyak sehingga membebani seisi servernya.

Tim Developer Wikimedia akhirnya memutuskan untuk menghapus analyzer-analyzer itu untuk mengurangi beban pada server Wikidata + Commons. Namun sayangnya, penghapusan paksa terhadap analyzer-analyzer ini mengakibatkan kerusakan parah pada fitur pencarian di Wikidata dan Commons.

Ada kode program yang masih membutuhkan analyzer tersebut agar bisa tetap berfungsi. Karena analyzernya sudah terlanjur dihapus, kode program itu menyebabkan kerusakan pada seluruh fitur pencarian. 

All shards failed for phase: [query]
[Unknown analyzer [text_search]]; nested: IllegalArgumentException[Unknown analyzer [text_search]];
Caused by: java.lang.IllegalArgumentException: Unknown analyzer [text_search]

Untuk menyelesaikan masalah ini, mereka memutuskan untuk memutus hubungan kode program tersebut dengan analyzer yang sudah dihapus.[2]

Dari yang awalnya seperti ini (EntityFullTextQueryBuilder.php) : 

$tokCount = new TokenCountRouter($query_text,new MatchNone(),null,'text_search');

Menjadi seperti ini : 

$tokCount = new TokenCountRouter($query_text,new MatchNone(),"text");

Dari yang awalnya seperti ini (phraseRescore.expected) : 

"token_count_router" : { "analyzer" : "text_search" }

Menjadi seperti ini : 

"token_count_router" : { "field" : "text" }

Terlihat bahwa analyzer "text_search" telah dihapus dari kode program.

Kronologi kejadian

Jumat, 16 Juni :

  • 21:40 Proses re-indexing dimulai

Sabtu, 17 Juni :

  • 11:30 Fitur pencarian di Wikidata dan Wikimedia Commons rusak
  • 22:07 Snowmanonahoe melaporkan kerusakan ini kepada tim developer melalui Phabricator

Minggu, 18 Juni :

  • 05:39 Legoktm mengirim chat di channel IRC #mediawiki_security, "fitur pencarian di Wikidata dan Commons rusak?"
  • 06:37 Hashar tidak sengaja melihat pesan itu di IRC, langsung melakukan investigasi
  • 07:00 Hashar menghubungi anggota The Search Team (tim di Wikimedia yang bertugas untuk menyediakan fitur pencarian) di Eropa : Gehel dan dcausse
  • 08:00 Dcausse berpendapat bahwa pembatalan proses re-indexing tidak dapat dilakukan, karena proses re-indexing ulang membutuhkan waktu yang sangat lama. Perlu dicari alternatif solusi lain
  • 08:15 Alternatif solusi lain ditemukan : memutus hubungan ke analyzer yang sudah dihapus
  • 09:20 Hashar dan Dcausse mengadakan panggilan video untuk bekerjasama menyelesaikan masalah ini
  • 09:29 Alternatif solusi sedang diujicoba di server mwdebug1001.
  • 10:02 Kerusakan fitur pencarian akhirnya berhasil diperbaiki.

Parsoid

Parsoid adalah software (baru) yang digunakan oleh Wikimedia untuk mengonversi wikitext menjadi dokumen HTML yang bisa dibuka oleh browser. Sebelumnya, Wikimedia menggunakan "Mediawiki Native Parser" untuk mengonversi wikitext.

Mereka sedang merencanakan untuk mengganti Native Parser (yang lama) dengan Parsoid (yang baru).

Efek sampingnya, banyak site-CSS, userscripts dan gagdets -- yang menggunakan aturan Native Parser lama -- bisa rusak, karena penggantian komponen software ini.

Oleh karena itu, tim Wikimedia Content Transform menyarankan Anda untuk memodifikasi site-CSS / userscript / gagdet agar mengikuti aturan Parsoid yang baru.

MediaWiki 1.41/wmf.15

Sejak 29 Juni 2023, seluruh wiki di Wikimedia telah diupgrade ke MediaWiki 1.41/wmf.15.

2023 - 18

  • Ekspor video dari URL ke Wikimedia Commons dengan tool video2commons

2023

Maintenance pada Modul Graph


Referensi

  1. ^ https://meta.wikimedia.org/w/index.php?title=Talk:Wikimedia_Foundation_Annual_Plan/2023-2024/Draft/Future_Audiences&diff=prev&oldid=25224045
  2. ^ https://gerrit.wikimedia.org/r/c/mediawiki/extensions/WikibaseCirrusSearch/+/930930/
Diperoleh dari "https://wiki-indonesia.club/w/index.php?title=Pengguna:Rtnf/Berita_Teknis&oldid=23834264"