Meet #Danu, the new #Fledger! It can finally share data in a Distributed Hash Table (#DHT), and now it can also update this data! At least on the CLI...
The first example here is the actual homepage of the system, which is stored in the DHT. I'm so happy this actually works now!
When you go to:
Your browser connects to the other nodes, synchronizes part of the DHT, and then shows the homepage of Danu.
Coming up: storing your own webpages on Danu!
Here's a video of Martin Crawford talking about what a forest garden is:
I am working on a decentralized, peer-to-peer, encrypted #chat written in #Python: https://github.com/FluxChat/fluxchat-py
It uses the #Kademlia algorithm to create an #overlay network. You can even use your existing GPG/PGP keys to join. I am looking forward to adding a #GUI, because currently it only has a #terminal interface and HTTP #API. And also to write the client/server part in #Zig. #E2E #P2P #TLS #decentralized #Decentralization #endtoend #TUI #DHT
**Проблема: Ограниченная доступность децентрализованных поисковых решений на основе YaCy в Gentoo**
**1. Децентрализация vs Централизованные поисковики**
Большинство пользователей привыкли к централизованным поисковым системам (Google, Bing, Yandex), которые контролируют индексацию, фильтрацию контента и ранжирование. YaCy предлагает децентрализованный подход, но его популярность остаётся низкой из-за ряда технических и пользовательских барьеров.
**2. Проблемы установки и совместимости в Gentoo**
Gentoo известен своей гибкостью, но установка YaCy на этой платформе может быть сложной из-за:
Отсутствия официального ebuild в основном репозитории.
Потенциальных зависимостей, конфликтующих с текущими сборками.
Отсутствия подробной документации для интеграции с системой.
**3. Ограниченная функциональность и удобство для конечного пользователя**
Хотя YaCy мощен с точки зрения приватности и автономности, он сталкивается с проблемами:
Высокие требования к ресурсам при индексировании.
Медленная скорость поиска при малом числе узлов.
Ограниченные механизмы фильтрации контента по сравнению с традиционными поисковиками.
**4. Интеграция в экосистему RuTracker.org**
На форумах вроде RuTracker.org востребованы альтернативные поисковые решения. Однако:
YaCy не всегда эффективно индексирует динамический контент форумов.
Необходима дополнительная настройка парсеров для корректного сбора данных.
Малое количество узлов, ориентированных на индексирование RuTracker, снижает качество поиска.
**Вывод**
YaCy в Gentoo и его потенциальная интеграция с RuTracker.org требуют более удобных инструментов развертывания, оптимизации индексации и повышения удобства работы для конечных пользователей.
**Дополнительная база знаний для изучения и исследования**
**1. Официальные ресурсы YaCy**
Официальный сайт YaCy – документация, исходный код и последние обновления.
GitHub YaCy – основной репозиторий проекта, баг-трекер, pull requests.
Форум поддержки YaCy – обсуждения, вопросы и ответы.
**2. Документация и исследования по децентрализованным поисковикам**
DHT (Distributed Hash Table) и его применение в P2P-системах
Сравнение децентрализованных поисковиков: SearX, YaCy, Whoogle
Peer-to-Peer Search Engines: Opportunities and Challenges (ACM Digital Library)
**3. Gentoo и его экосистема**
Официальная документация Gentoo – руководство по установке и настройке пакетов.
Bugzilla Gentoo – поиск и обсуждение ошибок, возможное добавление ebuild для YaCy.
GURU overlay – сообщество разработчиков, вносящих новые пакеты.
**Библиография**
Callan, J. (2000). *Distributed Information Retrieval*. Springer.
Balakrishnan, H., Kaashoek, M. F., Karger, D., Morris, R., & Stoica, I. (2003). *Looking up data in P2P systems*. Communications of the ACM, 46(2), 43-48.
Stoica, I., Morris, R., Karger, D., Kaashoek, M. F., & Balakrishnan, H. (2001). *Chord: A scalable peer-to-peer lookup service for internet applications*. ACM SIGCOMM Computer Communication Review, 31(4), 149-160.
Benzmüller, C., & Heyer, G. (2008). *Peer-to-peer information retrieval: An overview*. Springer.
Gentoo Linux Wiki (2024). *Installing and Configuring Packages in Gentoo*. Retrieved from https://wiki.gentoo.org.
YaCy Developers (2023). *YaCy Search Engine: Architecture and Performance Optimization*. Retrieved from https://github.com/yacy/yacy_search_server.
**Хэштеги**
#YaCy #DecentralizedSearch #Gentoo #RuTracker #P2P #DistributedSearch #DHT #FOSS #PrivacyTech #PeerToPeer #OpenSource
**Где найти соратников для обсуждения?**
**Официальные сообщества YaCy**
Форум YaCy Community
Группа в Matrix: #yacy:matrix.org
IRC-канал: #yacy на irc.libera.chat **Сообщества по Gentoo и Open Source**
Форум Gentoo
Reddit: r/Gentoo
Telegram-группа Gentoo Russia **Дискуссионные площадки по децентрализованным технологиям**
LOR (Linux.org.ru) – обсуждение Linux и open-source решений.
RuTracker.org – форум альтернативных технологий
Hacker News – обсуждение перспектив P2P и децентрализованных систем.
Эти ресурсы помогут разработчикам, исследователям и энтузиастам YaCy глубже разобраться в технологии и найти единомышленников.
GitHub - pubky/pkdns: DNS server resolving pkarr self-sovereign domains https://github.com/pubky/pkdns #OpenSource #censorship #torrent #GitHub #domain #server #name #rust #dht #dns
you rapidly query many nodes that you have never established contact to before and possibly will never see again during a lookup.
Kademlia lookups are iterative, i.e. requests won't be forwarded. A forwarding #DHT would be more suited to long-standing TCP connections.
I.e. a large chunk of the traffic consists a short-lived exchange of a request and response between nodes of a network potentially ranging in the millions. The overhead of rapidly establishing thousands of #TCP connections would be prohibitive.
https://stackoverflow.com/questions/10255383/why-does-kademlia-use-udp
How is one supposed to find files on #IPFS?
I love that it's based on #DHT of old https://docs.ipfs.tech/concepts/dht/#kademlia though in practice mediated by a central indexer (IPNI) https://docs.ipfs.tech/concepts/ipni/ .
But what made DHT useful in #eMule was the search by filename or other human-readable metadata, so of course they removed all of that!?
https://discuss.ipfs.tech/t/cid-concept-is-broken/9733/16
So you can't search a file by its checksum, let alone its filename. You need to know someone who already has the file, and ask them where to look.
invariably required-ish host type: hardcoded as a bootstrap peer (so that your first boot is relatively easy after installation)
what if there's a bootstrap protocol that's cross-compatible with other bootstrap frameworks?
such that you can ask (on any protocol) for peers of another protocol?
a DHT where the only goal is to find some members of another kind of DHT?
#DHT #MagnetLinks #bootstrapping #P2P
alternative methods:
- server you download from generates the install.sh script custom each time
- you have to search mastodon manually for a tag
- you randomly search the web for IPs that respond on a port
- you email a bridge (like tor) ((this is technically the same process...))
- apt post-install scripts pick a relay at random (kinda like picking the "fastest package mirror")
- you use a domain generation algorithm
- your friend helped you install in person, and thus shares a QR code or bluetooth beacon with you
- DNS request (this is how some super-peer records work)
A thing I've been thinking about is whether word embedding could be used to build exhaustive distributed search. #P2P networks like #Kademlia use the 'closeness' of an ID's bit pattern to determine node neighbours: you could just as easily use a binary word embedding of a search query to generate such an ID for lookup, and it has the lovely property that similar search queries get mapped to nearby areas of the #DHT address space.
Vabljeni na c| srečanje №20: Kako skenirat #DHT & Razstava tipkovnic ter plan za ergonomski slovenski razpored
Dobimo se 2. decembra ob 17:00 v @muzej|u
Anton Šijanec (sij) bo predstavil kako skenirat #BitTorrent #DHT in tako npr. ustvarit statistiko prometa in iskalnik torrentov.
Potem bomo imel impromptu #tipkovnica meetup – prinesi in pokaži kar imaš! :D
@hook bo predstavil svojo idejo za #ergo razporeditev.
https://dogodki.kompot.si/events/f0c72b3d-8165-443b-a6b3-2950f4f123a7
več info & pofočkaj se
Анонимный мессенджер — обязательный стандарт для каждого человека
В наше время важность анонимности в интернете возросла многократно. Интернет уже не то место, где можно спокойно себя чувствовать, сегодня за лайк или неосторожную фразу в чате может прилететь несколько лет в тюрьме. Такова сегодняшняя реальность, и не только в РФ и РБ, но и в более цивилизованных странах. Даже если вы сейчас не нарушаете никаких законов, ваш трафик и история сообщений сохраняются «где надо», а в будущем и законы изменятся, и архивы поднимут, можно не сомневаться. У нас законы имеют обратную силу. Поэтому анонимное средство коммуникаций с надёжным шифрованием — это обязательный стандарт для нормального человека. Телеграм с секретными чатами — не самый лучший вариант. Чтобы гарантировать подобие анонимности, там нужно совершить ряд необязательных действий, включая покупку виртуального номера за TON'ы (сначала нужно купить эти TON'ы, что тоже нетривиальная процедура). Спрашивается, зачем нужен виртуальный номер, если можно реализовать регистрацию вообще без номера , как в нормальных анонимных мессенджерах?
cc @bortzmeyer
Un remplaçant #décentralisé au #DNS, qui fonctionne avec une infrastructure existante (#DHT)
does anybody else who's fascinated with #p2p #decentralized #DHT apps remember some ancient p2p network - maybe ed2k, that era - which would fall back to scanning all of ipv4 space to find other nodes if it couldn't connect to any other nodes or bootstrap servers at startup?
I read a paper on this in the 2000s. there was a degree of analysis of how long it'd take the network to re-establish itself given n disconnected nodes at the start. I'm looking for that paper/article.
boosts appreciated!
Hello, @Jami!
#app #chat #cryptography #dht #fingerprint #jami #opensource #p2p #privacy #privacymatters #publickey 3732905114592dc18e87cb1cb0a8f52d633197f5 https://ns.jami.net/name/nicolaslegland
Another firmware build for #Freifunk at @ffhl is in the pipeline. It includes a patchset I had made some years ago to hopefully reduce #ARP overhead by splitting the DAT cache into a local cache and a #DHT cache, where the latter would have a 30 instead of 5 min. timeout:
https://patchwork.open-mesh.org/project/b.a.t.m.a.n./list/?series=241
The idea came from seeing a lot of ARP broadcasts from gateways to supposedly vanished hosts: https://www.open-mesh.org/projects/batman-adv/wiki/DAT_DHCP_Snooping
What do people think will be the result after updating our #mesh nodes?
#MeshNetwork
Анонимная P2P-база знаний, где никто не может подделать чужое авторство | Магия асимметричных ключей на практике
На днях, как это обычно и бывает перед сном, мой мозг решил, что было бы очень забавно перед экзаменом не спать, а заняться брейнштормом. Как результат я получил слитую сессию и безумное желание сделать свой P2P WEB 228.0 — ну вы знаете… Вот вы никогда не задумывались, что Tor является весьма экстраординарным способом преодоления трансляторов сетевых адресов? По сути, он позволяет создавать туннель между двумя любыми удалёнными узлами, находящимися за NAT , выдавая им уникальные onion-адреса из очень большого диапазона. Аналогичную же задачу решает переход на ipv6, но при этом он требует поддержки со стороны самого транслятора, в то время как Tor абсолютно самостоятелен, хоть он и не является настоящим p2p. Чисто технически (при должном monkey patch `инге) можно даже заставить его работать как пробрасыватель портов для RDP, онлайн-игр и Vиртуальных Pриватных туннелей, которые нынче нельзя называть.
#Bitmagnet Allows People to Run Their Own #Decentralized #Torrent Indexer Locally
With Bitmagnet, people can run their own private #BitTorrent index, relying on #DHT and the #BEP51 protocol.
With the right code, anyone can set up their own personalized and private DHT crawler, #torrent index, and #searchengine. Bitmagnet is a relatively new #selfhosted tool that does exactly that.
https://torrentfreak.com/bitmagnet-allows-people-to-run-their-own-decentralized-torrent-indexer-locally-240218/
