la DB de mi instancia es de 807MB. LLeva casi medio año funcionando el pleroma. Por hacer estimaciones
@nonoriri cuando pueda compararé la BD de pleroma.cat con la de mastodont.cat pero ya me ha sorprendido que la de Pleroma crece muy rápido.
@nonoriri
ya he hecho la comparativa de las base de datos entre Pleroma y Mastodon.

pleroma.cat:
funcionando desde hace 4 mesos y medio, 13 usuarios (7 activos) -> 3,5G

mastodont.cat:
funcionando desde hace 49 meses, 2489 usuarios (173 activos) -> 5,4G

Comparativamente hablando podemos decir que Pleroma llena la base de datos "demasiado".

Otro dato que desmonta un poco aquello de "Pleroma consume menos recursos de màquina que Mastodon".
interesantes datos los expuestos aquí. Me resultan curiosos. Mi instancia #pleroma tiene una BD de 402MB y 166 megas de archivos subidos. En agosto hará un año en funcionamiento, y ahora apenas 3 usuarios. @giorgiograppa @nonoriri @spla

@tarteka que brutalidad el peso de la db... Tengo webs de clientes con mucha chicha y pesan un 10% 🤔

@giorgiograppa @nonoriri @spla

@kim cada vez que Pleroma o Mastodon federan con un nuevo servidor guardan la información necesaria del mismo en la base de datos. Cada nuevo usuario de ese mismo nuevo servidor que se suma al estado "federado" crea un nuevo registro en la base de datos. Un ejemplo, pleroma.cat tiene ya 30771 usuaris federados. Y sigue creciendo a buen nivel.
¿Cuanto pesa en la base de datos cada usuario federado? a tanto no llego aún 😁

@nonoriri @giorgiograppa @tarteka
Captura de pantalla 2019-05-21 …
@kim sí, hago backups diarios. Hay muchos dias que en pleroma.cat nadie local ha publicado nada y sin embargo la base de datos ha crecido de un dia para otro. Claro, no para de recibir publicaciones de los servidores federados.
@tarteka @nonoriri @giorgiograppa
@tarteka @kim @giorgiograppa @nonoriri @spla Yo tampoco tengo mucha idea de bases de datos, pero al final me toca administrar unas cuantas...
Mi nodo de GS (sólo 2 cuentas, casi un año de vida) -> 68 MB. Incluso me parece mucho comparada con la de nextcloud, con 10 cuentas activas, y tiene 50 MB...
Follow

@aab @tarteka @kim @giorgiograppa @nonoriri @spla

Hay que pensar como decía spla que estos tamaños en las bases de datos vienen por la cantidad de usuarios y posts federados que entran, no tanto por la eficiencia de GS, Pleroma o Mastodon en la gestión. Cuantas más instancias se sigan, más se acelerará el crecimiento. En Nextcloud sería muy difícil alcanzar un tamaño de base de datos tan grande como el que produce un timeline con decenas de miles de usuarios posteando a diario.

@antonlopez @kim @giorgiograppa @tarteka @aab @nonoriri @spla sip, no es el número de cuentas que haya en un nodo ni lo que publiquen esas cuentas, sino a cuantas siguen y cuanto publican las cuentas seguidas/replicadas en el nodo.
@antonlopez @tarteka @kim @giorgiograppa @nonoriri @spla Sí, está claro. Y asumo que GS será quien peor gestione el tema, nada más que porque el código está más desactualizado...
Sólo me llamaba la atención porque las 10 cuentas de nextcloud son activas, esto es, tienen instalado el cliente en sus pc, y hacen "llamadas" a mi servidor sin parar, suben y bajan ficheros...

Pero sí, por cerrar el círculo, no tengo ni idea de bases de datos :P
@aab @tarteka @kim @giorgiograppa @antonlopez @nonoriri @spla Las que tenéis pleroma, todavía no hay tareas para limpiar la base de datos de esa actividad pasada. Lo único que he encontrado es esto https://docs-develop.pleroma.social/Mix.Tasks.Pleroma.Database.html#content en esta issue https://git.pleroma.social/pleroma/pleroma/issues/791

si alguien quiere probarlo, se puede probar después de hacer un backup y si sale mal restaurarlo... no? :)
@aab @antonlopez @giorgiograppa @kim @nonoriri @spla @tarteka Para mí es uno de los problemas fundamentales de los fediversos. Por lo general asume la lógica capitalista del crecimiento infinito. Ésto sumado al perfil prototípico de "el" admin solitario, me parece que tenemos bastante camino por delante hacia la sostenibilidad humana y material.

Dicho esto, mis respetos a todos los y las admins de por aquí! Yo también lo he sido bastante tiempo y sé de qué hablo. Os animo a buscar coadmins o comoderadorxs para repartir a la vez carga de responsabilidad y poder!
@fadelkon @aab @antonlopez @giorgiograppa @kim @spla @tarteka también podría plantearse como la figura no del admin, si no más bien de los admins no haber un dictador centralizado.
muy de acuerdo contigo en lo del crecimiento infinito, hay que investigar más pero de momento es lo que tenemos. quizás reducir las instancias monousuario y enfocarlo a instancias cooperativas. eso unido a una política de contenido fugaz, para evitar sobredimensionado de bases de recursos. a fin de cuenta, lo que importa es el contenido reciente y el de hace un año tiene poca/ninguna relevancia útil
@nonoriri @aab @antonlopez @giorgiograppa @kim @spla @tarteka Bueno, creo que la cultura de lo immediato tampoco es deseable... a mi me gustaría complementar más el fediverso, que es genial para el día a día, con el foro de https://la.confederac.io , por ejemplo, que permite conversaciones más sosegadas y duraderas; y con ellas, la conservación y expansión del conocimiento compartido :)

Aquí mi reconocimiento a la estrategia de @icaria36
@fadelkon @aab @antonlopez @giorgiograppa @icaria36 @kim @spla @tarteka aquí una amante de los foros también. por eso creo que cada aplicación tiene su ritmo. Los foros son muy interesantes para debates y charlas no triviales mientras que una red social de este tipo es muy buena en contenido "basura" o feed de noticias de amigos o charla casual corta y pública
@nonoriri @fadelkon @aab @antonlopez @giorgiograppa @icaria36 @kim @spla los foros han sido y serán una compendio de información útil que perdura en el tiempo. Fácil de encontrar y de usar. Lástima que la cultura del foro se ha perdido en reprimiendo de una mensajería rápida y que luego cuesta recuperar la información.

@tarteka @nonoriri @antonlopez @kim @spla @fadelkon @giorgiograppa @aab "Foros"y "redes sociales" tienen sus propias utilidades y son complementarias. Pero si tu objetivo es aprender y actuar, es mejor tener el rol del foro como primario y las redes sociales como secundario.

Aunque las redes sociales parecen diseñadas para aprender y actuar, de hecho son muy superficiales y dispersas. Aprender y actuar de manera transformativa requiere más profundidad y foco.

(Hay excepciones, sí.)

@nonoriri @aab @antonlopez @giorgiograppa @kim @spla @tarteka Hecho el apunte, mi apoyo a las instancias cooperativas + limitar el almacenamiento y concienciar de ello.

Algunas herramientas apuestan para responsabilizar a las usuarias del almacenamiento, como scuttlebot y retroshare. Pero claro, también trae sus dificultades.
@fadelkon @aab @antonlopez @giorgiograppa @kim @spla @tarteka un problema que tengo es que en muchas instancias te sientes usuaria. y quiero formar parte, tener vozy que se tomen decisiones de forma abierta, consensuada y racional. y es ahí donde tienes razón con la figura del admin, ante el cual no tienes voz ni voto y muchas elegimos ser más soberanas
@nonoriri
leyendoos hablar de esto me ha entrado curiosidad sobre remolino, mañana si saco un rato paso datos y scripts de la BBDD por si os sirven. Hoy he estado toquetendo un poco el server y me suena que la carpeta de pleroma ronda los 200 megas, de la BBDD npi.
@fadelkon @aab @antonlopez @giorgiograppa @kim @spla @tarteka
@xrasl deberiamos pedir que añadan un botón que nos permita "desfederarnos" :grin: para controlar el tamaño de la base de datos
@nonoriri @fadelkon @aab @antonlopez @giorgiograppa @kim @tarteka
@kim
mirando la bbdd se me ocurre hacer un cron que elimine todos los mensajes de instancias (muertas?) que no federan desde hace varios meses, o como habeis comentado, mensajes anteriores a cierto tiempo.
La verdad es que hay una tabla llamada activities que es donde se guardan todas las interacciones que hacemos y es un maldito mastodonte (chistaco). Esta tengo que mirarla mas a fondo
@spla @aab @nonoriri @giorgiograppa @tarteka @antonlopez @fadelkon

@xrasl si parece totalmente necesario, es que se hace insostenible estos volumenes a años vista...

@fadelkon @antonlopez @tarteka @giorgiograppa @nonoriri @aab @spla

a mí por que no se me dá bastante bien el ingles, y además no tengo conocimientos técnicos suficientes para el tema. Pero si alguien se anima, podría abrir un issue en el gitlab del proyecto, y a ver que dicen. @xrasl @kim @spla @aab @nonoriri @giorgiograppa @antonlopez @fadelkon
@tarteka @nonoriri @antonlopez @kim @spla @fadelkon @giorgiograppa @aab vi un link por esta conversación en la que hablaban de hacer mantenimiento, pero no se ponian de acuerdo en como hacerlo

@xrasl ya os digo que solo estoy familiarizado con mysql pero lo que tambien me resulta curioso es lo rápido que van las querys de la apis de Mastodon y Pleroma, en mysql se ralentizaria mucho un query sobre una tabla de 200mb.

¿Pleroma es postgreSql igual que Mastodon?

@fadelkon @antonlopez @tarteka @giorgiograppa @nonoriri @aab @spla

@kim @fadelkon @antonlopez @tarteka @giorgiograppa @nonoriri @aab @spla si, por defecto es postgres, aunque podrías ejecutarlo sobre MySQL si quieres sufrir xD
@kim @fadelkon @antonlopez @tarteka @giorgiograppa @nonoriri @aab @spla estoy echando un ojo y muchas lineas son datos de este tipo

{"id": "https://plaza.remolino.town/contexts/72007ea6-b7bf-4a6d-a219-00cdf482b252"}

otras tantas no estoy seguro que son, pero son bastante más grandes, quiero suponer que igual son likes o retoots, lo confirmo en breves
@kim @fadelkon @antonlopez @tarteka @giorgiograppa @nonoriri @aab @spla
me da la sensación que son conversaciones entre usuarios, lo que no entiendo es porque están en esa tabla y no en la de activities
@kim @fadelkon @antonlopez @tarteka @giorgiograppa @nonoriri @aab @spla
creo que puede ser que cuando abres un hilo y carga la conversación entera se guarda ahí

@xrasl visto lo visto y como se almacena toda actividad fediversal, lo lógico es reducir el fediverso a fediversos más pequeños dejando de federar con contenido irrelevante, por ejemplo no tiene sentido federar con un nodo japones que nadie entiende en euskadi... No se igual me equivoco pero parece insostenible económicamente administrar un nodo durante largos años...

@fadelkon @antonlopez @tarteka @giorgiograppa @nonoriri @aab @spla

Show more
@xrasl es algo que echo de menos tanto de los desarrolladores de Mastodon como de Pleroma: explicar qué hace y para qué sirve cada tabla de la base de datos.
Claro que eso le quitaría la emoción que produce cuando encuentras lo que necesitas obtener de ellas.
@kim @fadelkon @antonlopez @tarteka @giorgiograppa @nonoriri @aab
Show more
@xrasl yo era muy fan de mysql hasta que gracias a Mastodon tuve que aprender Postgresql. Para cosas serias Postgresql
@kim @fadelkon @antonlopez @tarteka @giorgiograppa @nonoriri @aab
@kim hay que tener en cuenta que Mastodon se apoya mucho en Redis (https://redis.io) para tener agilidad. Monitorizar la actividad de Redis sí que provoca vértigo. Es un ametralladora.

@aab @nonoriri @giorgiograppa @tarteka @antonlopez @fadelkon @xrasl

@spla yo vivo en el pasado todo lo que desarrollo es en php mysql y jquery jeje pero los hay más viejos que yo que aun hacen msAccess así que aun no estoy tan mal 😂

@aab @antonlopez @giorgiograppa @xrasl @nonoriri @tarteka @fadelkon

@spla tot això es molt "modelno" i no se ni com va jeje anant bé em vull retirar en 10 anys i no vull sapiguer res més de les webs jaja em possaré a pintar marines...

@aab @antonlopez @giorgiograppa @xrasl @nonoriri @tarteka @fadelkon

@kim ben fet que faràs! per mi no és una feina, és un hobby que em fa pensar, analitzar, etc. M'agrada força tot això.
@fadelkon @tarteka @nonoriri @xrasl @giorgiograppa @antonlopez @aab

@spla ho se, i jo no et creguis m'agrada fer webs el que no m'agrada es dir si a tots els capricis dels clients, potser un blog o algo tindré segur...

@aab @antonlopez @giorgiograppa @xrasl @nonoriri @tarteka @fadelkon

@xrasl la tabla activities es la que crece con cada post federado que llega al servidor. Ayer estuve comparando la hora y minuto de cada post federado que iba recibiendo con el columna inserted_at de la tabla activities i voila, coincidian de lleno.
De ahi puedo extraer cuantos posts federados recibo cada hora. Eso sí, filtrando los que son 'Type=Create' de la columna json 'data'
@kim @aab @nonoriri @giorgiograppa @tarteka @antonlopez @fadelkon
@xrasl
este es el query:

select count(inserted_at) from activities WHERE data->>'type'='Create' AND inserted_at > current_timestamp - INTERVAL '180 minutes'

¿por qué 180 minutos? porque la columna inserted_at es del tipo timestamp without time zone y vamos dos hora adelantados a la del sol. Si quiero coger la ultima hora grabada en la base de datos tengo que restar un intervalo de 180 minutos.

@aab @antonlopez @fadelkon @giorgiograppa @kim @nonoriri @tarteka
Después de tres dias generando los nuevos gráficos (publicaciones federadas y tamaño que ocupa en disco la base de datos de Pleroma) se observa claramente lo que venimos comentando, lo que más hace crecer la base de datos son las publicaciones federadas que recibe el servidor.
En las imágenes vemos que el dia 23 a las 19:00 tengo el valor máximo de publicaciones federadas por hora, 535. El mismo dia 23 a las 19:00 tengo el máximo de aumento de la base de datos, 5 MB.
Añadir que a esa hora no hubo ninguna publicación local.
En tres días la base de datos ha crecido 100MB 😒
@xrasl @aab @antonlopez @fadelkon @giorgiograppa @kim @nonoriri @tarteka
Captura de pantalla 2019-05-25 …
Captura de pantalla 2019-05-25 …
@kim van todos al directorio uploads. Me has dado otra idea, un gráfico de cómo crece ese directorio 😃
fadelkon@santsenques.cat @tarteka @nonoriri @xrasl @giorgiograppa @antonlopez @aab

@spla
Da qué pensar. Quizás una solución sería que la base de datos a la larga borre el contenido que no es de origen local, que no es el verdaderamente imprescindible (porque ya existe en otra parte del fediverso). Porque a largo plazo ese crecimiento es insostenible...

@aab @antonlopez @giorgiograppa @kim @xrasl @nonoriri @tarteka @fadelkon

@Roboron @spla @aab @giorgiograppa @kim @xrasl @nonoriri @tarteka @fadelkon

GNU social va a desarrollar eso en la nueva versión que están haciendo. GS siempre un paso por delante, y no es coña 😁

Creo que cuando tenga algo de tiempo, me voy a pasar por el irc de pleroma, y preguntaré sobre el tema. A ver si lo tienen contemplado, o por lo menos saber si son conscientes del problema @antonlopez @fadelkon @nonoriri @xrasl @kim @giorgiograppa @aab @spla @Roboron
@antonlopez
mastodon tiene la herramienta tootctl que, entre otras opciones, permite:

tootctl media remove

Options:
[--days=N] # Default: 7

Description:
Removes locally cached copies of media attachments from other servers.
The --days option specifies how old media attachments have to be before they
are removed. It defaults to 7 days.

tootctl statuses remove

Options:
[--days=N] # Default: 90
Description:
Remove statuses that are not referenced by local user activity, such as ones that came from relays, or belonging to users that were once followed by someone locally but no longer are.

Son útiles

@fadelkon @tarteka @nonoriri @xrasl @kim @giorgiograppa @aab @Roboron

@spla @Roboron @aab @giorgiograppa @kim @xrasl @nonoriri @tarteka @fadelkon

De todas formas, y por darle un poco más de perspectiva... serían como 10 GB al año, o algo así, más los media (pongamos otros 10). Total, que 10 años de Fediverso (al nivel actual) serían 200 GB. Es caña burra pero tampoco es ningún tsunami, no?

@antonlopez

Tsunami quizas no pero es sorprendente que a Pleroma le crezca tan rapidamente la base de datos cuando sus desarolladores la venden como poco devoradora de recursos de màquina.

@fadelkon @tarteka @nonoriri @xrasl @kim @giorgiograppa @aab @Roboron
@antonlopez @tarteka @kim @giorgiograppa @roboron @fadelkon @nonoriri @spla @xrasl A largo plazo, me parece que la mejor política es ir borrando contenido antiguo (y ahí cada cual que decida lo que es "antiguo").
No veo mucho sentido en conservar conversaciones de unas plataformas que son de comunicación efímera por definición.

@aab @tarteka @kim @giorgiograppa @Roboron @fadelkon @nonoriri @spla @xrasl

No había, de hecho, una rama de Mastodon que era efímera? Recuerdo una instancia... ephemeral no sé qué?

Show more
Sign in to participate in the conversation
Mastodon

Server run by the main developers of the project 🐘 It is not focused on any particular niche interest - everyone is welcome as long as you follow our code of conduct!